跳转至

通过随机数生成缓解大模型作为裁判时的评分偏差

文章背景与核心概要

大型语言模型（LLM）作为文本质量自动评估器（即“LLM-as-a-Judge”方法）已被广泛应用，其表现往往超越传统的基于参考文本的指标。然而，这些模型普遍存在“评分偏差”，即无论被评估文本的实际上下文如何，模型往往会倾向于给出某些特定的分数。这种偏差严重影响了自动化评估的客观性和准确性。

为了解决这一痛点，研究人员 Yuma Asato、Kiyoaki Shirai 和 Natthawut Kertkeidkachorn 提出了一种利用随机数生成的新型去偏方法。该方法通过引导大模型生成随机数字 Token，并测量其与均匀分布的偏离程度，从而识别出模型的潜在数值偏差；同时，通过在提示词中引入具体的下游任务定义，以捕捉任务相关的偏向趋势。在实际评估过程中，系统会根据这种潜在偏差对 Token 的生成概率进行修正。在四项不同任务上的实验表明，该方法明显优于标准基线及以往的校准技术，为提升大模型评估的可靠性开辟了新途径。

Executive Summary

Large Language Models (LLMs) are frequently employed as automated text-quality evaluators (an approach known as "LLM-as-a-Judge"), often outperforming traditional reference-based metrics. However, these models frequently exhibit scoring bias, tending to regard specific scores regardless of the evaluated text's actual context.

大语言模型（LLM）经常被用作自动化的文本质量评估器（这种方法被称为“LLM-as-a-Judge”），其表现往往优于传统的基于参考文本的指标。然而，这些模型经常表现出评分偏差，即无论被评估文本的实际上下文如何，它们都倾向于给出特定的分数。

To solve this, researchers Yuma Asato, Kiyoaki Shirai, and Natthawut Kertkeidkachorn propose a novel debiasing method leveraging random number generation. By instructing an LLM to generate random number tokens, the approach measures the deviation from a uniform distribution to identify the model's latent numerical bias—incorporating specific downstream task definitions into the prompt to capture task-dependent trends. During evaluation, token generation probabilities are rectified based on this latent bias. Experiments across four distinct tasks demonstrate that this method outperforms standard baselines and previous calibration techniques.

为了解决这一问题，研究人员 Yuma Asato、Kiyoaki Shirai 和 Natthawut Kertkeidkachorn 提出了一种利用随机数生成的新型去偏方法。通过指令大模型生成随机数字 Token，该方法通过测量偏离均匀分布的程度来识别模型的潜在数值偏差，并将特定的下游任务定义纳入提示词中以捕获任务相关的趋势。在评估过程中，根据这种潜在偏差对 Token 的生成概率进行修正。在四个不同任务上进行的实验表明，该方法优于标准基线和先前的校准技术。

Article Details

  • arXiv ID: arXiv:2608.05726 [cs.CL]
  • Subjects: Computation and Language (cs.CL); Artificial Intelligence (cs.AI)
  • Authors: Yuma Asato, Kiyoaki Shirai, Natthawut Kertkeidkachorn
  • Submitted on: August 6, 2026
  • DOI: 10.48550/arXiv.2608.05726
  • arXiv ID: arXiv:2608.05726 [cs.CL]
  • 学科分类: 计算与语言 (cs.CL)；人工智能 (cs.AI)
  • 作者: Yuma Asato, Kiyoaki Shirai, Natthawut Kertkeidkachorn
  • 提交时间: 2026年8月6日
  • DOI: 10.48550/arXiv.2608.05726

Abstract

Large Language Models (LLMs) are often used as evaluators of text quality, known as LLM-as-a-Judge, which can outperform conventional automatic evaluation metrics that rely on reference texts. However, LLM evaluators tend to generate particular scores regardless of the context of the evaluated text, which is known as scoring bias.

大型语言模型（LLM）经常被用作文本质量的评估器，即所谓的 LLM-as-a-Judge，它能够胜过依赖参考文本的常规自动评估指标。然而，LLM 评估器往往会生成特定的分数，而不考虑被评估文本的上下文，这被称为评分偏差。

This study proposes a novel method to mitigate this scoring bias: 1. An LLM is instructed to randomly generate number tokens. 2. The latent numerical bias of the LLM is identified by measuring the deviation of the observed distribution of numbers from a uniform distribution. 3. A definition of the downstream task (for which the LLM evaluator is used) is added to the random number generation prompts to measure task-specific latent number bias. 4. During evaluation, the token generation probabilities for a given input are rectified to account for the LLM's latent number bias.

本研究提出了一种缓解这种评分偏差的新方法： 1. 指令大模型随机生成数字 Token。 2. 通过测量观察到的数字分布与均匀分布的偏离程度，识别出 LLM 的潜在数值偏差。 3. 将下游任务（即 LLM 评估器所应用的任务）的定义添加到随机数生成的提示词中，以测量特定任务的潜在数字偏差。 4. 在评估过程中，纠正给定输入的 Token 生成概率，以消除 LLM 的潜在数值偏差。

Experimental Results: Experiments conducted across four different tasks—evaluation of LLM alignment, evaluation of summarization, Semantic Textual Similarity (STS), and Semantic Textual Relatedness (STR)—demonstrate that the proposed method outperforms baselines, including unbiased LLMs and previous calibration methods. Furthermore, the study confirms that scoring bias varies across different LLMs, tasks, and score ranges, highlighting the necessity of measuring latent number bias dynamically on a case-by-case basis.

实验结果： 在四项不同任务（评估大模型对齐、评估文本摘要、语义文本相似度 (STS) 以及语义文本相关性 (STR)）上进行的实验表明，所提出的方法优于基线，包括无偏大模型和以往的校准方法。此外，研究证实，评分偏差在不同的 LLM、任务和分数范围内各不相同，这凸显了按需动态测量潜在数值偏差的必要性。