跳转至

文章背景与核心概要

随着大语言模型（LLM）规模的不断膨胀，训练后量化（Post-training quantization）已成为降低部署成本的关键技术。然而，模型的性能退化并非严格由比特宽度单调决定。本文系统性地研究了跨多种比特宽度、量化方法、模型规模和任务的纯权重（weight-only）训练后量化，揭示了性能变化的内在规律。

为了阐明为何量化退化表现出复杂的不确定性（通常在 4-bit 时保持稳定，2-bit 时广泛退化，而在 3-bit 时呈现出极强的任务特异性变异），作者创新性地引入了信噪比（SNR）的视角。研究发现，量化退化归根结底取决于两个核心过程：一是源头信噪比分解，明确了新引入的误差如何受权重误差幅度、特定任务信号强度及量化误差对齐的影响；二是跨层传播分析，揭示了误差如何在不同层之间被放大、保持或衰减，并指出更大规模的模型具有更弱的误差放大效应，从而具备天然的抗退化能力。

大型语言模型中的量化退化：信号与噪声的视角

  • arXiv ID: arXiv:2608.08188 [cs.AI]
  • 提交时间: 2026年8月8日
  • 作者: Chenxi Zhou, Pengfei Cao, Jinyu Ye, Bohan Yu, Haida Yu, Jiang Li, Jun Zhao, Kang Liu

📌 摘要

Post-training quantization is a widely used technique to reduce the deployment costs of Large Language Models (LLMs), but model degradation is not strictly bound to bit-width alone. This paper systematically investigates weight-only post-training quantization across multiple bit-widths, methods, model scales, and tasks to understand performance variation.

To demystify why degradation behaves unpredictably—often remaining stable at 4-bit, degrading broadly at 2-bit, and showing task-specific variance at 3-bit—the authors adopt a signal-to-noise ratio (SNR) perspective. Their findings trace quantization degradation down to two core processes: 1. Source SNR Decomposition: How newly introduced errors depend on weight error magnitude, task-specific signal strength, and quantization error alignment. 2. Cross-Layer Propagation Analysis: How errors are amplified, preserved, or attenuated across layers (noting that larger models benefit from weaker error amplification).

训练后量化降低了大语言模型的部署成本，但量化模型的退化严重程度并不完全由比特宽度决定。本文系统地研究了多个模型系列在不同比特宽度、量化方法、模型规模和下游任务下的纯权重训练后量化。我们观察到，这种退化在这些因素之间存在实质性的差异：4-bit 量化通常能保持性能，2-bit 量化通常会导致广泛的退化，而在 3-bit 时，退化变得明显，但随任务类型、量化方法和模型规模的不同而显著变化。

为了解释这种变异性，我们采用信噪比（SNR）来衡量量化对全精度表征的干扰程度。我们将退化追溯到两个相互关联的过程：量化误差如何在单个模块内部产生，以及它们如何在各层之间累积。

  • 首先，源信噪比分解表明，新引入的误差取决于三个因素：权重误差的幅度、特定任务信号的强度，以及量化误差与特定任务激活的对齐程度。不同的因素以不同的方式影响这些组件。
  • 其次，跨层传播分析表明，这些误差在穿过各层时可以被衰减、保留或放大，并且更大的模型受益于更弱的误差放大。

总之，这些结果表明，量化退化是由源头误差的引入方式以及误差在网络中的累积方式所决定的。

📄 摘要 (原文对照)

Post-training quantization reduces the deployment cost of large language models, yet how severely a quantized model degrades is not determined by bit-width alone. We systematically study weight-only post-training quantization across bit-widths, quantization methods, model scales and downstream tasks on multiple model families. We observe that such degradation varies substantially across these factors: 4-bit quantization usually preserves performance, 2-bit often causes broad degradation, and at 3-bit, degradation becomes apparent but varies markedly with task type, quantization method and model scale.

To explain this variability, we use the signal-to-noise ratio (SNR) to measure how strongly quantization perturbs full-precision representations. We trace degradation back to two linked processes: how quantization errors arise within individual modules, and how they accumulate across layers.

  • First, a source SNR decomposition shows that newly introduced errors depend on three factors: the magnitude of the weight error, the strength of the task-specific signal, and how strongly the quantization error aligns with task-specific activations. Different factors affect these components in distinct ways.
  • Second, a cross-layer propagation analysis shows that these errors can be attenuated, preserved, or amplified as they pass across layers, and that larger models benefit from weaker error amplification.

Together, these results establish that quantization degradation is governed by how errors are introduced at the source and how they accumulate across the network.

训练后量化降低了大语言模型的部署成本，但量化模型的退化严重程度并不完全由比特宽度决定。本文系统地研究了多个模型系列在不同比特宽度、量化方法、模型规模和下游任务下的纯权重训练后量化。我们观察到，这种退化在这些因素之间存在实质性的差异：4-bit 量化通常能保持性能，2-bit 量化通常会导致广泛的退化，而在 3-bit 时，退化变得明显，但随任务类型、量化方法和模型规模的不同而显著变化。

为了解释这种变异性，我们采用信噪比（SNR）来衡量量化对全精度表征的干扰程度。我们将退化追溯到两个相互关联的过程：量化误差如何在单个模块内部产生，以及它们如何在各层之间累积。

  • 首先，源信噪比分解表明，新引入的误差取决于三个因素：权重误差的幅度、特定任务信号的强度，以及量化误差与特定任务激活的对齐程度。不同的因素以不同的方式影响这些组件。
  • 其次，跨层传播分析表明，这些误差在穿过各层时可以被衰减、保留或放大，并且更大的模型受益于更弱的误差放大。

总之，这些结果表明，量化退化是由源头误差的引入方式以及误差在网络中的累积方式所决定的。

🔍 核心发现与洞察

  • 比特宽度性能谱：
  • 4-bit： 通常能够较好地保持整体模型性能。
  • 3-bit： 引入明显的退化，高度依赖于任务类型、模型规模和量化方法的选择。
  • 2-bit： 经常导致大范围的性能下降。
  • 源误差剖析： 模块级别的量化误差由权重误差幅度、任务信号强度以及误差-激活对齐之间的相互作用决定。
  • 全网络动态： 误差通过衰减、保持或放大机制在各层之间传播，其中更大的架构通过减少误差放大展现出自然的鲁棒性。

🔗 链接与资源