量化放大确定性而非偏见：服务时权重压缩的尺度依赖行为效应
文章背景与核心概要
在大语言模型（LLM）的部署和运营中，权重量化在很大程度上决定了开源模型的经济效益。基于标准能力基准的评估，中等规模模型在 4 位（4-bit）精度下的性能损耗通常被认为“几乎可以忽略不计”。然而，本文作者 Dachi Kurtskhalia 将目光投向了一个常常被忽视的维度——行为一致性（behavioral consistency）。当存在多个有效答案时，权重压缩是否会改变模型的输出倾向？
为了回答这一问题，该研究在受控的硬件、软件和采样配置下，评估了三个模型检查点（Qwen3-8B、14B 和 32B）在三种权重精度（W4A16 AWQ、W8A16 FP8-Marlin 和 bf16）下的表现，共收集了约 71,000 条配对补全结果。核心发现在于：在 8B 尺度下，4位量化（AWQ）减少了输出多样性，促使模型向众数答案集中，从而增强了确定性而非偏见；而在更大的 14B 和 32B 尺度下，这种内容集中效应不再显著，取而代之的是明显的文风漂移（如破折号使用率增加）。这项研究提示我们，在对量化模型进行审计时，除了关注传统偏见，还必须评估其输出的集中度变化。
摘要
Weight quantization largely determines the economics of serving open-weight LLMs. Its costs are usually assessed with capability benchmarks, on which 4-bit quantization of mid-sized models is often considered "nearly free." We examine a different question: when several answers are valid, does quantization change what a model chooses to say?
We serve three checkpoints (
Qwen3-8B/14B/32B) at three weight precisions (W4A16 AWQ,W8A16 FP8-Marlin, andbf16), holding the hardware, software, and sampling configuration constant, and collect approximately 71,000 completions paired by prompt and seed across two custom, leak-checked prompt batteries. We pre-specified the analyses in three waves in version control.At
8B,int4reduces output diversity: the probability that two samples for the same scenario recommend the same brand increases by 5.1 percentage points (prompt-paired sign-flip test, Holm \(p = .023\); reproduced at \(+4.4\text{pp}\) on a full regeneration of the arm), and lexical diversity falls substantially (\(\text{TTR } -0.011\), standardized effect \(-0.51\); robust to a length-controlled measure). At14Band32B, no content-concentration measure reaches significance; instead, stylistic drift emerges (em-dash rate \(+0.46/1\text{k}\) words at14Band \(+0.61/1\text{k}\) at32B, both Holm \(p \le .0024\)).Pre-specified tests of stereotype direction are null at every scale: outputs concentrate on the modal answer for each prompt rather than on stereotypical answers. Mechanistically, the token-level distribution becomes flatter (decision-token entropy \(+0.091\text{ bits}\), \(p = .015\)) while the semantic distribution, measured directly from first-token log probabilities, becomes more concentrated (collision \(+2.6\text{pp}\), \(p = .023\)): individual tokens become less predictable even as meanings become more repetitive. At
8B, the smallest size tested,AWQ-int4serving measurably narrows the range of suggestions; audits should assess concentration as well as bias.
权重量化在很大程度上决定了开源大语言模型（LLM）服务的经济性。其成本通常通过能力基准来评估，在这些基准上，中等规模模型的 4 位量化通常被认为是“几乎免费”的。我们探讨了一个不同的问题：当有多个有效答案时，量化是否会改变模型选择输出的内容？
我们在恒定的硬件、软件和采样配置下，以三种权重精度（W4A16 AWQ、W8A16 FP8-Marlin 和 bf16）运行了三个模型检查点（Qwen3-8B/14B/32B），跨越两个自定义、经过防泄露检查的提示词库，收集了大约 71,000 个按提示词和随机种子配对的补全结果。我们在版本控制中分三波预先指定了分析方案。
在 8B 尺度下，int4 降低了输出多样性：针对同一场景的两个样本推荐同一品牌的概率增加了 5.1 个百分点（提示词配对符号翻转检验，Holm 修正 \(p = .023\)；在全量重建中复现结果为 \(+4.4\text{pp}\)），且词汇多样性显着下降（\(\text{TTR } -0.011\)，标准化效应 \(-0.51\)；在长度控制的度量下依然稳健）。在 14B 和 32B 尺度下，没有任何内容集中度指标达到显著性水平；取而代之的是文风漂移的出现（在 14B 时破折号频率 \(+0.46/1\text{k}\) 词，在 32B 时 \(+0.61/1\text{k}\) 词，两者 Holm 修正 \(p \le .0024\)）。
针对刻板印象方向的预指定检验在所有尺度上均呈无显著性结果：输出倾向于集中在每个提示词的众数答案（modal answer）上，而不是刻板印象答案。从机制上讲，标记（token）级分布变得更加平坦（决策标记熵 \(+0.091\text{ bits}\)，\(p = .015\)），而直接从首标记对数概率测量的语义分布变得更加集中（冲突率 \(+2.6\text{pp}\)，\(p = .023\)）：尽管含义变得更加重复，但单个标记变得更不可预测。在测试的最小尺寸 8B 下，AWQ-int4 服务明显缩小了建议的范围；因此，模型审计不仅应评估偏见，还应评估集中度。
提交历史 (Submission History)
- [v1] 2026年9月7日 星期一 19:06:31 UTC (230 KB)
- [v1] Mon, 7 Sep 2026 at 19:06:31 UTC (230 KB)