跳转至

没有中立的评测框架：现代大模型排行榜是由配置脆弱项构建的

文章背景与核心概要

尽管多项选择题基准测试在问题和标准答案上保持固定，但它们在“评测框架”（evaluation harnesses）——例如选项排序、提示词措辞，以及是通过生成文本还是计算选项似然值来获取答案——方面却缺乏标准化。这种不一致性导致了评测结果的巨大波动。

本文通过引入“脆弱性网格”（fragility grid），深入探讨了单个题目层面的框架敏感性。作者测试了12个开源指令微调大模型，涵盖了4个标准基准测试（ARC, HellaSwag, MMLU, TruthfulQA）中的3,679个题目，并应用了26种合理的配置。研究揭示，模型的得分并非一个确定的点，而是一个波动的区间。

核心结论指出，配置脆弱项（config-fragile items）贡献了相邻模型间95.7%的性能差距。这意味着，评测框架的选择实际上决定了基准测试的胜出者，而非模型本身的能力差异。此外，现有的基准压缩方法倾向于保留这些脆弱项，进一步加剧了排行榜的不稳定性。

执行摘要

尽管多项选择题基准测试固定了问题和正确答案，但它们将评估“框架”（harnesses）——例如选项排序、提示词措辞，以及答案是从生成的文本中读取还是通过选项似然值计算——留在了未标准化的状态。

While multiple-choice benchmarks fix questions and correct answers, they leave evaluation "harnesses"—such as option ordering, prompt wording, and whether answers are read from generated text or per-option likelihoods—unstandardized.

本文通过引入“脆弱性网格”（fragility grid），在单个题目层面研究了框架的敏感性。通过在26种合理的配置下，对来自4个标准基准测试（ARC, HellaSwag, MMLU, TruthfulQA）的3,679个题目进行测试，作者对12个开源指令微调大模型进行了评估，揭示了模型的得分是一个波动的区间，而非一个确定的点。至关重要的是，配置脆弱项占了相邻模型间性能差距的95.7%，这意味着评估框架实际上决定了基准测试的胜出者。

This paper investigates harness sensitivity at the individual item level by introducing the fragility grid. Testing 12 open-weight instruction-tuned LLMs across 3,679 items from 4 standard benchmarks (ARC, HellaSwag, MMLU, TruthfulQA) under 26 defensible configurations, the author reveals that a model's score is a fluctuating band rather than a point. Crucially, configuration-fragile items account for 95.7% of performance gaps between adjacent models, meaning evaluation harnesses effectively dictate benchmark winners.

关键发现

  • 得分是区间而非点： 在固定模型权重和贪婪解码的情况下，模型的性能仅基于框架配置的不同就会发生剧烈变化。例如，gemma4-31b 的得分可以在 31% 到 89% 之间波动。
  • Scores as Bands, Not Points: With fixed model weights and greedy decoding, a model's performance varies dramatically based solely on the harness configuration. For example, gemma4-31b scores anywhere between 31% and 89%.
  • 决定胜者： 在测试的12个模型中，有4个模型在至少一种配置下获得了排名第一，这证明了评估框架主动选择了“获胜”模型。
  • Deciding the Winner: Four out of the 12 tested models achieve rank one under at least one configuration, proving that the evaluation harness actively selects the "winning" model.
  • 脆弱项的作用： 配置脆弱项承担了相邻模型间平均 95.7% 的性能差距，而回答稳定的题目只会导致平局。
  • The Role of Fragile Items: Config-fragile items carry an average of 95.7% of the performance gap between adjacent models, while stably answered items simply result in a tie.
  • 有缺陷的压缩： 题目区分度（基准压缩方法主要最大化的指标）与脆弱性呈正相关（相关系数为 0.28）。因此，压缩方法倾向于保留脆弱项而不是丢弃它们。
  • Flawed Compression: Item discrimination—the primary metric maximized by benchmark-compression methods—correlates positively with fragility (at 0.28). Consequently, compression methods tend to retain fragile items rather than discard them.
  • 承载变化的轴心： 评分方法的选择（而不是协议通常标准化的选项顺序）是导致变化的主要承载轴。
  • The Load-Bearing Axis: The choice of scoring method (rather than option order, which protocols usually standardize) serves as the primary load-bearing axis of variation.

工件与可复现性

作者已随论文发布了完整的逐题记录和分析脚本。所有结果均可在标准 CPU 上于数秒内重新生成。

The author has released the complete per-item records and analysis scripts alongside the paper. All results can be regenerated on a standard CPU within seconds.