跳转至

使用超低比特量化模型拓展大语言模型推理的极限

文章背景与核心概要

本文探讨了部署超低比特大语言模型（LLM）的运行时效率。这些超低比特模型在保持全精度模型准确率和困惑度的同时，显著减少了内存占用、降低了延迟与能耗，并提升了吞吐量。作者提出了一种自底向上的优化方法：在现代CPU上设计了定制化的2比特微内核，性能接近硬件上限，比当前最先进的 bitnet.cpp 运行时快2.2倍，比标准16位推理快高达7倍；同时，针对Intel Xe2 GPU开发了混合精度的2比特内核并集成至vLLM框架中，相比16位推理管道实现了高达6.7倍的加速。

这一研究成果突破了现有大语言模型推理的效率瓶颈，为超低比特量化模型在消费级硬件及数据中心的高效落地提供了强大的底层运行支持。

目录与文档信息

字段 详情
arXiv ID arXiv:2508.06753 [cs.AI]
学科分类 人工智能 (cs.AI); 机器学习 (cs.LG); 性能 (cs.PF)
作者 Evangelos Georganas, Dhiraj Kalamkar, Alexander Heinecke, Pradeep Dubey
提交历史 • [v1] 2025年8月8日
• [v2] 2026年1月23日
• [v3] 2026年8月27日（当前版本）
许可协议 知识共享署名 4.0 国际 license icon

Metadata & Document Information

Field Details
arXiv ID arXiv:2508.06753 [cs.AI]
Subjects Artificial Intelligence (cs.AI); Machine Learning (cs.LG); Performance (cs.PF)
Authors Evangelos Georganas, Dhiraj Kalamkar, Alexander Heinecke, Pradeep Dubey
Submission History • [v1] 8 Aug 2025
• [v2] 23 Jan 2026
• [v3] 27 Aug 2026 (Current)
License Creative Commons Attribution 4.0 International license icon

摘要

超低比特大语言模型的出现，使其在困惑度和任务准确率上逼近了全精度模型，从而开启了LLM推理的新时代。尽管这些进展预示着模型在延迟、内存、吞吐量和能耗方面具有成本效益，但用于部署超低比特模型的运行时效率仍未得到充分探索。在这项工作中，我们采用了一种自底向上的方法：首先为现代CPU实现了2比特微内核，取得了接近硬件屋顶线（roofline）的性能。我们将这些微内核集成到LLM推理管道中，并展示了2比特模型的端到端结果，其性能超越了当前最先进（SOTA）的 bitnet.cpp 运行时 \(2.2\times\)，相比16位推理实现了高达 \(7\times\) 的加速。我们将这项工作扩展到了Intel Xe2 GPU，在其中实现了混合精度的2比特内核，并证明其性能接近最优。我们将这些GPU内核集成到vLLM框架中，并对一系列模型和Xe2 GPU的端到端推理进行了评估。与16位推理管道相比，我们获得了高达 \(6.7\times\) 的加速，进一步拓展了LLM推理的极限。

Abstract

The advent of ultra-low-bit LLM models, approaching the perplexity and task accuracy of their full precision counterparts, is ushering in a new era of LLM inference. While these advances promise models that are cost-effective regarding latency, memory, throughput, and energy consumption, the efficiency of runtimes for deploying ultra-low-bit models remains under-explored. In this work, we take a bottom-up approach: we first implement 2-bit microkernels for modern CPUs, achieving close-to-roofline performance. We integrate these microkernels into LLM inference pipelines and present end-to-end results with 2-bit models, outperforming the state-of-the-art (SOTA) bitnet.cpp runtime by \(2.2\times\), and deliver up to \(7\times\) speedup compared to 16-bit inference. We extend this work to Intel Xe2 GPUs where we implement mixed-precision, 2-bit kernels, and show their performance to be close-to-optimal. We integrated the GPU kernels in the vLLM framework and evaluated end-to-end inference for a range of models and Xe2 GPUs. We obtain up to \(6.7\times\) speedup compared to the 16-bit pipeline, pushing the envelope of LLM inference.

访问与资源

Access & Resources