跳转至

文章背景与核心概要

近年来，三值大语言模型 (Ternary Large Language Models, LLMs) 因极高的计算效率备受关注，其每个权重仅取 \(\{-1, 0, +1\}\) 三个离散值，理论极限存储成本约为 1.585 比特。但在传统工程实践中，为了便于硬件以 2 的幂次方寻址，工程师普遍假设三种符号等概率分布，并采用“5 个三值权重打包进 1 字节”的折中方案，使实际开销反弹至 1.625 比特。

研究人员系统分析了 29 个真实三值大模型，敏锐地发现权重中数字“0”的实际占比最高可达 51.5%。基于这一非均匀分布特性，本文提出了自适应分布布局方案 BITCOS，将稠密存在位图与紧凑符号向量协同编码，在 26 个模型中全面超越了标准打包方案，最低仅需 1.485 比特即可存储一个权重，一举打破了 1.58 比特的传统认知壁垒。

更为重要的是，BITCOS 深度适配了现代 CPU 与 GPU 的向量指令集（如 AVX-512、AVX2 与 Intel Xe2），不仅大幅节省了内存与带宽，更在端到端解码中带来了高达 1.18 倍至 1.27 倍的吞吐量提升，为超低比特大语言模型在边缘设备和数据中心的高效落地扫清了关键障碍。

突破 1.58 比特极限：三值大语言模型的极致压缩与加速

Breaking the 1.58-bit Barrier for Ternary LLMs

论文概要

Summary

  • 作者 (Authors) ： Evangelos Georganas, Alexander Heinecke, Pradeep Dubey
  • 提交时间 (Submitted) ： 2026 年 9 月 14 日
  • 主要领域 (Primary Subject) ： 人工智能 (cs.AI) / 机器学习 (cs.LG)
  • arXiv 编号 (arXiv ID) ： 2609.16338
  • Authors: Evangelos Georganas, Alexander Heinecke, Pradeep Dubey
  • Submitted: September 14, 2026
  • Primary Subject: Artificial Intelligence (cs.AI) / Machine Learning (cs.LG)
  • arXiv ID: 2609.16338

论文摘要

Abstract

三值大语言模型 (Ternary Large Language Models, LLMs) 将神经网络中的每一个权重都存储为三种离散符号之一 (\(\{-1, 0, +1\}\))。按照经典信息论的理论计算，每个权重仅需占用 \(\log_2 3 \approx 1.585\) 比特的存储空间。然而在工业界的标准部署实践中，通常采用将 5 个三值权重打包放入单个字节中的做法；受限于硬件 2 的幂次方分组寻址习惯，再加上算法假设这三种符号完全等概率分布，实际存储开销不得不向上舍入到每个权重 \(1.625\) 比特。

Ternary Large Language Models (LLMs) store every weight as one of three symbols (\(\{-1, 0, +1\}\)), resulting in a conventional information-theoretic storage cost of \(\log_2 3 \approx 1.585\) bits per weight. Standard deployment practices typically pack five ternary weights into a single byte, rounding up to \(1.625\) bits per weight due to power-of-two group sizes and the assumption that all three symbols are equiprobable.

在对 29 个三值大语言模型进行深入分析后，作者团队发现模型权重中的“0”实际上并非均等分布，其占比最高可达全部权重的 \(51.5\%\)。为了充分发掘并利用这种高度非均匀分布的红利，他们创新性地提出了 BITCOS 方案——一种由稠密存在位图 (Presence Bitmap) 与紧凑符号向量 (Compacted Sign Vector) 共同构成的分布自适应数据排布架构。

Upon analyzing 29 ternary LLMs, the authors discovered that zeros actually account for up to \(51.5\%\) of all weights. To exploit this non-uniformity, they introduce BITCOS, a distribution-adaptive layout consisting of a dense presence bitmap paired with a compacted sign vector.

  • 存储效率 (Storage Efficiency) ： BITCOS 的单权重平均开销为 \(2 - z\) 比特（其中 \(z\) 为零值密度）。在所测试的 29 个模型中，BITCOS 在多达 26 个模型上的压缩效果显著优于标准的“5 权重/字节”打包方法；在稀疏度最高的模型上，存储开销更是直降至每个权重仅需 \(1.485\) 比特。
  • 硬件执行性能 (Hardware Performance) ： BITCOS 在现代处理器和 GPU 上具备极为高效的解包能力，并专门针对 AVX-512、AVX2 指令集以及 Intel Xe2 GPU 打造了深度定制优化的向量计算序列。
  • 实际应用收益 (Real-World Gains) ： 相比于工业生产级的三值矩阵-向量乘法内核，BITCOS 带来了高达 \(1.28\times\) 的性能跃升。在跨越 5 种不同硬件平台的端到端大模型推理基准测试中，BITCOS 在 CPU 上的解码吞吐量提升高达 \(1.18\times\) ，在 GPU 上则高达 \(1.27\times\) 。
  • Storage Efficiency: BITCOS costs \(2 - z\) bits per weight (where \(z\) is the zero density), compressing models more effectively than standard five-trit packing in 26 of the 29 tested models, dropping as low as \(1.485\) bits per weight for the sparsest model.
  • Hardware Performance: BITCOS supports efficient unpacking on modern processors and GPUs, featuring optimized sequences for AVX-512, AVX2, and Intel Xe2 GPUs.
  • Real-World Gains: Compared to production-grade ternary matrix-vector multiplication kernels, BITCOS delivers up to a \(1.28\times\) performance gain. End-to-end LLM inference benchmarks across 5 diverse hardware platforms demonstrate decode throughput improvements of up to \(1.18\times\) on CPUs and \(1.27\times\) on GPUs.

资源获取与引用

Access & Resources