文章背景与核心概要
在大型语言模型（LLM）的推理阶段，通过多数表决实现自一致性（Self-Consistency, SC）是一种标准策略，即采样多条思维链并返回得票最多的答案。然而，这篇论文指出，在使用小型指令微调大语言模型时，多数表决实际上会降低大多数硬科学问题中每个问题的准确率。
通过在完整的 GPQA Diamond 基准测试（包含 198 道研究生水平的科学问题）上进行测试，该研究揭示了不同系列模型准确率下降的现象：Qwen2.5-7B 在 56.6% 的问题上准确率下降，而 Llama-3-8B 在 65.7% 的问题上准确率下降。该研究通过严谨的预注册实验设计，深入探讨了模型置信度与正确性脱节的根本原因，并指出了无验证器门控机制在实际应用中的局限性。
当自一致性适得其反：多数表决损害小型大语言模型在多数硬科学问题上的表现
作者： Utkarsh Bahuguna
发布时间： 2026年8月11日
主要领域： 人工智能 (cs.AI)
次要领域： 计算与语言 (cs.CL)、机器学习 (cs.LG)
会议： 已被 COLM 2026 高效推理工作坊接受
arXiv： 2608.11403 | DOI： 10.48550/arXiv.2608.11403
📌 执行摘要
通过多数表决实现的自一致性（SC）是一种标准的推理时计算策略，它采样多条思维链并返回票数最多的答案。然而，本文证明，在使用小型指令微调大型语言模型（LLM）时，多数表决实际上降低了大多数硬科学问题中单题的准确率。
通过在完整的 GPQA Diamond 基准（198道研究生水平科学问题）上进行测试，该研究揭示了来自不同系列模型的准确率下降情况： * Qwen2.5-7B： 在 56.6% 的问题上准确率下降。 * Llama-3-8B： 在 65.7% 的问题上准确率下降（从接近随机猜测的基线进一步恶化）。
Self-consistency (SC) via majority voting is a standard inference-time compute strategy where multiple chains of thought are sampled, and the plurality answer is returned. However, this paper demonstrates that majority voting actually reduces per-problem accuracy on the majority of hard science problems when using small instruction-tuned Large Language Models (LLMs).
Testing on the full GPQA Diamond benchmark (198 graduate-level science questions), the study reveals drops in accuracy across models from different families: * Qwen2.5-7B: Accuracy decreased on 56.6% of problems. * Llama-3-8B: Accuracy decreased on 65.7% of problems (corroborating the direction from a near-chance baseline).
🔬 核心发现与方法论
- 严谨的实验设计： 这一效应最初是在 47 个探索性问题上观察到的，随后在一个包含 151 个问题的验证性划分上进行了预注册。全部四个验证性假设均成功通过。
- 置信度的角色： 底层失败机制非常直接：在这些复杂问题上，模型的置信度无法反映其正确性。
- 对于 Qwen 而言，在最高一致性区间内的多数答案只有大约一半的时间是正确的。
- 对于 Llama 而言，最高一致性区间的准确率实际上比最低一致性区间更低。
- 无验证器门控的局限性： 网格预言机（Grid oracle）能够理想地将每个问题路由至最优样本量（\(N \in \{1, 2, 4, 8, 16, 32, 64\}\)），其理论上限比 Qwen 的 \(N=1\) 高出 14 个准确率百分点，比 Llama 高出 17 个百分点。然而，这需要真实的标签（ground truth）。任何可部署的无验证器门控（无论是多数一致性门控还是词元熵门控），在准确率上的提升与 \(N=64\) 的固定预算表决相比都不超过 \(0.002\)。
- Rigorous Experimental Design: The effect was initially observed on 47 exploratory problems and subsequently pre-registered on a 151-problem confirmatory split. All four confirmatory hypotheses successfully passed.
- The Role of Confidence: The underlying failure mechanism is straightforward: model confidence does not track correctness on these complex problems.
- For Qwen, the plurality answer in the highest-agreement bin is correct only about half the time.
- For Llama, the highest-agreement bin is actually less accurate than its lowest-agreement bin.
- Limitations of Verifier-Free Gates: A grid oracle that ideally routes each problem to the optimal sample size (\(N \in \{1, 2, 4, 8, 16, 32, 64\}\)) achieves a theoretical upper bound 14 accuracy points above \(N=1\) for Qwen, and 17 points for Llama. However, this requires ground truth. No deployable, verifier-free gate (neither plurality-agreement nor token-entropy gates) improves accuracy by more than \(0.002\) compared to fixed-budget voting at \(N=64\).
⚠️ 研究范围与开放问题
- 模型范围： 本研究的发现专门在小型指令微调模型上进行了预注册并得到证实。
- 开放问题： 作者明确指出，原生推理模型（reasoning-native models）未被测试，这使得它们在自一致性下的行为成为未来研究的核心开放问题。
- Model Scope: The findings are specifically pre-registered and confirmed on small instruction-tuned models.
- Open Question: The author explicitly flags that reasoning-native models were not tested, leaving their behavior under self-consistency as the central open question for future research.
