跳转至

通过在线自蒸馏缓解大模型评判中的评分标准干扰

文章背景与核心概要

大语言模型（LLM）评判员正越来越多地被用于根据细粒度的评分标准（rubric）检查表来评估模型输出。虽然在单次推理中评估所有评分标准比多次独立调用更为高效，但它会引入“评分标准干扰”（rubric interference）——即模型对某个特定评分标准的裁决会随着其他评分标准的存在与否而发生变化的现象。这会导致评估结果不稳定，在实际应用中带来可靠性隐患。

为了应对这一挑战，本文作者开发了一个评估框架，通过四种受控操作（评分标准集扩展、子集划分、重新排序和噪声注入）深入探究了这种干扰现象。在没有外部监督的情况下，作者提出了“自我锚定评分标准对齐”（Self-Anchored Rubric Alignment，简称 SARA）方法。SARA 将模型自身的单标准判定结果作为稳定锚点，并通过在线自蒸馏（on-policy self-distillation）来对齐多标准推理过程。

实验在多个数据集（HealthBench、FLASK、ResearchQA）和模型系列（Qwen3、Llama-3.1）上进行了验证。结果表明，SARA 在保持与参考评判员高度一致的同时，显著提升了评估的一致性。此外，研究所学到的鲁棒性能够跨数据集泛化，证明 SARA 教授的是一种通用的评估能力，而非拟合特定数据集的模式。

摘要 (Abstract)

LLM judges increasingly evaluate responses against fine-grained rubric checklists. When a sample requires multiple rubrics, current methods typically assess each in a separate inference call. Evaluating all rubrics in a single pass is a natural alternative with greater efficiency, but we find that it introduces rubric interference: the verdict on one rubric shifts depending on which other rubrics are co-present.

大语言模型（LLM）评判员正日益根据细粒度的评分标准检查表来评估模型输出。当一个样本需要多个评分标准时，当前的方法通常通过单独的推理调用来分别评估每个标准。在单次推理中评估所有评分标准是一种更高效的自然替代方案，但我们发现它会引入评分标准干扰：对某个评分标准的裁决会随着其他共存评分标准的不同而发生偏移。

In a preliminary study, only one-third of samples receive fully consistent verdicts when evaluated under rubric sets of varying composition. We develop a measurement framework that probes interference through four controlled operations: 1. Rubric set expansion 2. Subsetting 3. Reordering 4. Noise injection

在初步研究中，当在不同组成的评分标准集下进行评估时，仅有三分之一的样本能够获得完全一致的裁决。我们开发了一个测量框架，通过四种受控操作来探究干扰： 1. 评分标准集扩展（Rubric set expansion） 2. 子集划分（Subsetting） 3. 重新排序（Reordering） 4. 噪声注入（Noise injection）

To mitigate interference without external supervision, we propose Self-Anchored Rubric Alignment (SARA). SARA uses a model's own single-rubric judgments as stable anchors and aligns multi-rubric reasoning with these anchors through on-policy self-distillation.

为了在没有外部监督的情况下缓解干扰，我们提出了自我锚定评分标准对齐（Self-Anchored Rubric Alignment，简称 SARA）。SARA 将模型自身的单标准判定结果作为稳定锚点，并通过在线自蒸馏将多标准推理与这些锚点进行对齐。

We validate SARA on three datasets (HealthBench, FLASK, ResearchQA) and two model families (Qwen3, Llama-3.1). SARA consistently improves evaluation consistency while maintaining agreement with both base models and GPT-4.1 as a reference judge. Furthermore, the learned consistency transfers across datasets, confirming that SARA teaches a general capability rather than fitting dataset-specific patterns.

我们在三个数据集（HealthBench、FLASK、ResearchQA）和两个模型系列（Qwen3、Llama-3.1）上验证了 SARA。SARA 在持续提升评估一致性的同时，保持了与基础模型以及作为参考评判员的 GPT-4.1 的高度一致性。此外，所学到的一致性能够跨数据集进行迁移，这证实了 SARA 教授的是一种通用能力，而不是去拟合特定数据集的模式。

核心贡献与发现 (Key Contributions & Findings)

  • Identification of Rubric Interference: Demonstrated that single-pass multi-rubric evaluations cause significant variance in verdicts, with only ~33% of samples maintaining consistency across varying rubric compositions.
  • Controlled Measurement Framework: Established a robust evaluation pipeline using expansion, subsetting, reordering, and noise injection to systematically study interference.
  • Self-Anchored Rubric Alignment (SARA): Introduced a self-distillation approach that leverages single-rubric baseline judgments to stabilize multi-rubric reasoning without requiring external supervision.
  • Cross-Dataset Generalization: Proved that the consistency learned via SARA transfers successfully across distinct benchmarks (HealthBench, FLASK, ResearchQA) and model architectures (Qwen3, Llama-3.1).
  • 识别评分标准干扰： 证明了单次通过的多标准评估会导致裁决结果出现显著方差，在不同的评分标准组合下，仅有约 33% 的样本保持了一致性。
  • 受控测量框架： 建立了一个强大的评估流水线，利用扩展、子集划分、重新排序和噪声注入来系统地研究干扰现象。
  • 自我锚定评分标准对齐（SARA）： 引入了一种自蒸馏方法，利用单标准基线判断来稳定多标准推理，且无需外部监督。
  • 跨数据集泛化： 证明了通过 SARA 学到的一致性可以成功地在不同的基准测试（HealthBench、FLASK、ResearchQA）和模型架构（Qwen3、Llama-3.1）之间进行迁移。