跳转至

文章背景与核心概要

大语言模型（LLM）裁判在整个AI生态系统中被广泛用于策划训练数据、为生成内容评分以及管理排行榜。这种做法依赖于一个关键但极少被验证的假设：向同一个模型名称发送完全相同的请求，在明天会产生完全相同的结构。

在这篇论文中，作者 Haoyuan Zhu 和 Jie Zhang 通过两项预注册的评估活动，对这一基本假设进行了审计。研究结果表明，共享端点上的黑盒LLM观察者存在严重的可靠性失效问题：在 52,988 次审计请求尝试中，同窗口重复排名的斯皮尔曼相关系数仅为 0.400（预注册目标为 0.90）；逐日重播的相关系数也仅为 0.78（要求为 0.99）。

作者的研究深入剖析了导致这种不稳定性的核心机制，包括语义标签映射偏差、仪器噪声底限以下的高频候选波动，以及共享基础设施上的非确定性排序行为。该研究得出的结论是：在共享端点上，模型名称并非一个被冻结的测量仪器，因此在实施性能门槛之前，严格的评估必须先测试仪器的可靠性。

Clean Engineering, Unstable Measurement: A Preregistered Reliability Failure of Black-Box LLM Observers on Shared Endpoints

Authors: Haoyuan Zhu, Jie Zhang
Published: September 3, 2026
Primary Subject: Artificial Intelligence (cs.AI)
Secondary Subjects: Machine Learning (cs.LG)
Identifiers: arXiv:2609.04198 [cs.AI] | DOI: 10.48550/arXiv.2609.04198

📌 执行摘要 (Executive Summary)

Language-model judges are increasingly used across the AI ecosystem to curate training data, score generations, and govern leaderboards. This practice relies on a critical, rarely verified assumption: that the exact same request sent to the exact same model name will yield the same result tomorrow.

语言模型裁判在整个AI生态系统中正被日益广泛地用于整理训练数据、对生成结果打分以及管理排行榜。这一实践依赖于一个关键但极少被验证的假设：向同一个模型名称发送完全相同的请求，明天将产生完全相同的结果。

In this paper, Haoyuan Zhu and Jie Zhang audit this fundamental assumption through two preregistered evaluation campaigns. The findings reveal a severe reliability failure in black-box LLM observers on shared endpoints: * Poor Repeatability: Across 52,988 audited request attempts, same-window repeat rankings achieved a Spearman correlation of only 0.400 (against a preregistered threshold of 0.90). * Inconsistent Day-to-Day Replays: Byte-identical next-day replays scored a correlation of 0.78 (against a required 0.99). * Core Drivers: The instability is driven by semantic label-mapping biases, high-frequency candidate fluctuations below the instrument's noise floor, and non-deterministic ranking behavior on shared infrastructure.

在这篇论文中，Haoyuan Zhu 和 Jie Zhang 通过两项预注册的评估活动，对这一基本假设进行了审计。研究结果揭示了共享端点上的黑盒LLM观察者存在严重的可靠性失效问题： * 极差的可重复性： 在 52,988 次被审计的请求尝试中，同一窗口的重复排名其斯皮尔曼相关系数仅为 0.400（预注册的阈值为 0.90）。 * 不一致的跨日重播： 字节完全相同的次日重播得出的相关系数为 0.78（要求为 0.99）。 * 核心驱动因素： 这种不稳定性是由语义标签映射偏差、仪器噪声底限以下的高频候选波动以及共享基础设施上的非确定性排名行为所驱动的。

The authors conclude that on a shared endpoint, a model name is not a frozen measurement instrument, and rigorous evaluations must test instrument reliability before implementing performance gates.

作者得出结论：在共享端点上，模型名称并不是一个被冻结的测量仪器，因此在实施性能关卡之前，严谨的评估必须对仪器的可靠性进行测试。

📑 关键发现与观察 (Key Findings & Observations)

1. 可靠性差距 (The Reliability Gap)

The study set strict, preregistered benchmarks for evaluation stability: * Same-window repeat rankings: Target = \(0.90\) | Actual = \(0.400\) * Next-day byte-identical replays: Target = \(0.99\) | Actual = \(0.78\)

该研究为评估稳定性设定了严格的、预注册的基准： * 同窗口重复排名： 目标 = \(0.90\) | 实际 = \(0.400\) * 次日字节一致重播： 目标 = \(0.99\) | 实际 = \(0.78\)

2. 根源机制解释 (Root Mechanisms Explained)

Three primary technical mechanisms account for the observed variance: 1. Semantic Label-Mapping Bias: Label-to-meaning mappings introduced readouts biased as strongly as the signal itself. 2. Sub-Threshold Candidate Gaps: Candidate variations occurred seven orders of magnitude below the instrument's own noise floor. 3. Infrastructure Non-Determinism: Byte-identical inputs returned conflicting rankings, a form of noise compounded by exact-permutation readouts.

造成所观察到的方差的三种主要技术机制是： 1. 语义标签映射偏差： 标签到意义的映射引入了与信号本身一样强烈的偏差读数。 2. 亚阈值候选间隙： 候选变量的波动出现在仪器自身噪声底限之下的七个数量级处。 3. 基础设施非确定性： 字节完全相同的输入返回了相互冲突的排名，这是一种由精确排列读数复合而成的噪声形式。

3. 缓解实验与局限性 (Mitigation Experiments & Limitations)

The authors explored various standard strategies to repair or bypass the instability, finding that none provided a universal fix on the tested grid: * Metric Substitution & Sampling: Failed to repair the underlying drift. * Temporal Spacing: Waiting did not improve reliability on sampled days (\(0.805\) vs. \(0.800\), replicated over five additional days). * Multi-Provider Switch: Testing four major providers showed shared baseline limitations (medians ranging from \(0.74\) to \(0.88\)), none of which could be predicted by standard metadata fields. * Self-Hosting: Running on batch-invariant kernels only maintained stability while the local server remained completely quiet. * Error Separation: On constructed errors with known gaps, readout separation tracked the type of error rather than its size.

作者探索了各种标准策略来修复或绕过这种不稳定性，发现没有一种策略能在被测试的网格上提供通用的修复方案： * 指标替代与采样： 未能修复潜在的漂移。 * 时间间隔： 在采样的几天里，等待并没有提高可靠性（\(0.805\) 对比 \(0.800\)，在另外五天中进行了复现）。 * 多提供商切换： 对四个主要提供商的测试显示了共享的基线局限性（中位数在 \(0.74\) 到 \(0.88\) 之间），这些局限性都无法通过标准的元数据字段来预测。 * 自行托管： 在批处理不变内核上运行，只有在本地服务器完全处于静默状态时才能保持稳定性。 * 错误分离： 对于具有已知间隙的构造错误，读数分离追踪的是错误的类型而不是错误的大小。

🛠️ 从业者建议 (Recommendations for Practitioners)

To address these measurement risks, the authors propose: 1. A Three-Level Snapshot-Identity Ladder to categorize infrastructure dependency. 2. Eight Design Rules for robust LLM evaluation architecture. 3. A Comprehensive Reporting Checklist for benchmarking studies.

为了应对这些测量风险，作者提出了以下建议： 1. 三级快照-身份阶梯（A Three-Level Snapshot-Identity Ladder），用于对基础设施依赖性进行分类。 2. 八项设计规则（Eight Design Rules），用于构建稳健的LLM评估架构。 3. 一份全面的报告清单（A Comprehensive Reporting Checklist），用于基准测试研究。

Note: The authors note that a pilot study utilizing approximately 2% of the total call volume would have successfully exposed both unreachable performance gates in advance.

注： 作者指出，一项仅利用总调用量约 2% 的试点研究，就能在事先成功暴露出那些无法达到的性能关卡。