跳转至

多语言大语言模型裁判中的排名反转现象：一种无标签的双中心化校准器

文章背景与核心概要

在使用大型语言模型（LLM）作为多语言评测裁判时，评估结果经常面临排名反转（rank reversal）的问题，即模型骨干网络（backbone）的性能排名会随着提示词语言的不同而产生不可预测的偏移。为了解决这一测量难题，本文作者引入了基于共识的校准（CBC）方法，这是一种基于双向方差分析（Two-way ANOVA）双中心化的无标签事后校准器。

该研究通过将裁判评分分解为任务难度、骨干网络能力以及语言-骨干网络交互项，在无需人工标注的情况下有效消除了偏置。实验表明，CBC不仅在各项跨任务评测中显著提升了排名的一致性（\(\tau\) 从 \(0.650\) 提升至 \(0.902\)），还将 M-RewardBench 评估面板与人类黄金标准的契合度从 \(68.7\%\) 提升至 \(76.6\%\)。理论上，该方法具备 \(O(1/\sqrt{n})\) 的有限样本集中界，并在存在任务-语言错误设定时仍能证明其无偏性。

license icon

license icon

摘要 (Summary)

当使用大语言模型（LLM）跨多种语言进行裁判评估时，评估结果往往会遭受排名反转（rank reversal）的困扰——这意味着模型骨干网络的性能排名会根据提示词语言的不同而发生不可预测的偏移。

为了解决这一测量问题，作者引入了基于共识的校准（CBC, Consensus-Based Calibration），这是一种基于双向方差分析（two-way ANOVA）双中心化的无标签事后校准器。通过将裁判评分分解为任务难度、骨干网络能力以及语言-骨干网络交互项，CBC 在不需要人工标注的情况下有效地消除了偏差。

核心亮点：

  • 提升了一致性： 在广泛的多语言裁判运行中，将跨任务排名一致性（\(\tau\)）从 \(0.650\) 提升至 \(0.902\)。
  • 更好的对齐性： 在 M-RewardBench 评测面板上，与公共人类黄金标准偏好的契合度从 \(68.7\%\) 提高到 \(76.6\%\)。
  • 理论鲁棒性： 提供了 \(O(1/\sqrt{n})\) 的有限样本集中界（finite-sample concentration bound），并证明了即使在存在任务-语言错误设定（misspecifications）的情况下，该方法依然保持无偏性。

Summary

When using Large Language Models (LLMs) as judges across multiple languages, evaluation results often suffer from rank reversal—meaning that the performance ranking of model backbones shifts unpredictably depending on the language of the prompt.

To address this measurement problem, the authors introduce Consensus-Based Calibration (CBC), a label-free post-hoc calibrator based on two-way ANOVA double-centering. By decomposing judge scores into task difficulty, backbone skill, and language-backbone interactions, CBC effectively eliminates bias without requiring human annotations.

Key Highlights:

  • Improved Consistency: Raises cross-task rank consistency (\(\tau\)) from \(0.650\) to \(0.902\) across extensive multilingual judge runs.
  • Better Alignment: Increases agreement with public human gold preferences from \(68.7\%\) to \(76.6\%\) on the M-RewardBench panel.
  • Theoretical Robustness: Provides an \(O(1/\sqrt{n})\) finite-sample concentration bound and proves unbiasedness even in the presence of task-language misspecifications.

文章信息 (Article Information)

  • arXiv ID: arXiv:2608.22432 [cs.CL]
  • 学科分类: 计算与语言 (cs.CL); 人工智能 (cs.AI)
  • 作者: Alhasan Mahmood, Samir Abdaljalil, Hasan Kurban
  • 提交日期: 2026年8月23日

Article Information

  • arXiv ID: arXiv:2608.22432 [cs.CL]
  • Subjects: Computation and Language (cs.CL); Artificial Intelligence (cs.AI)
  • Authors: Alhasan Mahmood, Samir Abdaljalil, Hasan Kurban
  • Submitted Date: August 23, 2026

摘要 (Abstract)

多语言 LLM 裁判会根据提示词语言产生不同的评估者-骨干网络排名：在一个八语言的“Agent作为裁判”（Agent-as-a-Judge）基准测试中，排名第一的骨干网络在英语、阿拉伯语、中文、印地语、日语、西班牙语、土耳其语和斯瓦希里语之间来回交替，并且在 15 个骨干网络对中，有 7 个表现出统计学上显著的成对排名反转。我们将此视为一个测量问题。

多语言裁判评分可加性地分解为任务难度、骨干网络能力以及语言-骨干网络交互项，其中最后一项可以通过对单元均值评分矩阵进行双中心化（double-centering）在没有人工标签的情况下恢复。我们明确了该估计器（基于共识的校准，CBC），给出了带有方差常数 \((1-\tfrac{1}{m})(1-\tfrac{1}{k})\) 的 \(O(1/\sqrt{n})\) 有限样本集中界，并证明了即使在存在任务-语言交互的情况下它也是无偏的。

在 7,920 次裁判运行中（6 个骨干网络、8 种语言、55 个任务、3 个框架），CBC 将留出的跨任务排名一致性 \(\tau\) 从 0.650 提高到 0.902，并且在每种语言的决策中与留出的加法模型神谕（oracle）有 100% 的一致性（相比之下原始数据为 68.5%）；这些是一致性诊断指标，而非基于人类的标准正确性测量。在一个单独收集的 M-RewardBench 面板（7 种语言、每种语言 1,500 个条目、10,500 个语言-条目实例、5 个评估者）上，面板与公共人类黄金标准偏好的契合度从 68.7% 上升到 76.6%（提升 7.9 个百分点，95% 置信区间 \([6.0, 9.9]\)），这是我们关于下游实用性的最强外部证据。该估计器在和为零的对比（sum-to-zero contrasts）下是标准的双向方差分析交互恢复操作；我们的贡献在于将其应用作多语言 LLM 裁判的无标签事后校准器、提供了一个明确的有限样本集中界，以及证明了即使在任务-语言错误设定的情况下依然成立的无偏性结果。

Abstract

Multilingual LLM judges produce different evaluator-backbone rankings depending on the prompt language: on an eight-language Agent-as-a-Judge benchmark, the top-ranked backbone alternates across English, Arabic, Chinese, Hindi, Japanese, Spanish, Turkish, and Swahili, and 7 of 15 backbone pairs show statistically significant pairwise rank reversal. We treat this as a measurement problem.

The multilingual judge score decomposes additively into task difficulty, backbone skill, and a language-backbone interaction term, the last of which is recoverable without human labels by double-centering the cell-mean score matrix. We make this estimator (Consensus-Based Calibration, CBC) explicit, give an \(O(1/\sqrt{n})\) finite-sample concentration bound with variance constant \((1-\tfrac{1}{m})(1-\tfrac{1}{k})\), and show that it is unbiased even when task-language interactions are present.

Across 7,920 judge runs (6 backbones, 8 languages, 55 tasks, 3 frameworks), CBC raises held-out cross-task rank consistency \(\tau\) from 0.650 to 0.902 and agrees with the held-out additive-model oracle in 100% of per-language decisions versus 68.5% raw; these are consistency diagnostics, not human-grounded correctness measures. On a separately collected M-RewardBench panel (7 languages, 1,500 items per language, 10,500 language-item instances, 5 evaluators), panel agreement with the public human gold preferences rises from 68.7% to 76.6% (gain 7.9 percentage points, 95% CI \([6.0, 9.9]\)), our strongest external evidence of downstream usefulness. The estimator is the standard two-way ANOVA interaction-recovery operation under sum-to-zero contrasts; our contribution is its application as a label-free post-hoc calibrator for multilingual LLM judges, an explicit finite-sample concentration bound, and an unbiasedness result that holds even under task-language misspecification.