跳转至

图结构评分标准：将评分标准编译为用于大模型裁判的类型化评估图

文章背景与核心概要

在大模型的研发与应用中，使用大模型作为裁判（LLM-as-a-Judge）来进行自动化评估已变得极为普遍。然而，现有的基于评分标准（Rubric）的评估方法通常将评分标准视为扁平、无结构的提示词上下文，导致各个评估准则之间的逻辑组合关系处于隐式状态，容易引发评估偏差和逻辑混乱。

为了解决这一痛点，本文提出了图结构评分标准（Graph-Structured Rubrics, GSR）这一全新框架。该框架能够将传统的评分标准编译为与具体回复无关的、具有严格类型的评估图。通过引入专门用于判断、转换、归约和门控的节点，GSR 实现了严谨的结构化评估，并在编译阶段强制执行类型兼容性检查，最终通过“读出（Readout）”映射将图计算结果转化为最终得分或偏好。实验结果表明，该方法显著超越了传统的 Prometheus 风格评分，具有极高的准确性与鲁棒性。

摘要

Current rubric-based LLM evaluators often treat rubrics as flat, unstructured prompt contexts, leaving the logical composition of criteria implicit. This paper introduces Graph-Structured Rubrics (GSR), a novel framework that compiles rubrics into response-independent, typed evaluation graphs.

By utilizing specific nodes for judgment, transformation, reduction, and gating, GSR allows for rigorous, structured evaluation. The system enforces type compatibility during compilation and employs a "Readout" mapping to convert graph results into final scores or preferences. Experimental results using the GPT-OSS-120B model demonstrate that GSR significantly outperforms traditional Prometheus-style scoring, achieving higher agreement in pointwise datasets and superior accuracy in pairwise preference benchmarks.

当前基于评分标准的大模型评估器通常将评分标准视为扁平、无结构的提示词上下文，这使得准则之间的逻辑组合关系保持隐式。本文引入了图结构评分标准（Graph-Structured Rubrics, GSR），这是一个将评分标准编译为与回复无关的、类型化评估图的新颖框架。

通过利用用于判断（judgment）、转换（transformation）、归约（reduction）和门控（gating）的具体节点，GSR 实现了严谨的结构化评估。该系统在编译过程中强制执行类型兼容性，并采用“读出（Readout）”映射将图的计算结果转换为最终得分或偏好。使用 GPT-OSS-120B 模型的实验结果表明，GSR 显著优于传统的 Prometheus 风格评分，在单点评分（pointwise）数据集中实现了更高的达成一致性，在成对偏好（pairwise）基准测试中展现出更卓越的准确性。

GSR 的核心特性

  • Typed Evaluation Graphs: Rubrics are compiled into a formal graph structure before the model observes any responses, ensuring logical consistency.
  • Compositional Operators: The framework uses specialized operators (transformation, reduction, and gating) connected via named ports to handle complex evaluation logic.
  • Readout Mechanism: A task-specific mapping converts the final graph output into actionable scores or preferences.
  • Validation: The compilation process automatically rejects malformed or type-incompatible rubrics, reducing evaluation errors.
  • 类型化评估图（Typed Evaluation Graphs）： 在模型观察任何回复之前，评分标准就被编译为形式化的图结构，从而确保逻辑的一致性。
  • 组合式算子（Compositional Operators）： 该框架使用通过命名端口连接的专用算子（转换、归约和门控）来处理复杂的评估逻辑。
  • 读出机制（Readout Mechanism）： 任务特定的映射将最终的图输出转换为可执行的分数或偏好。
  • 验证（Validation）： 编译过程会自动拒绝格式错误或类型不兼容的评分标准，从而减少评估错误。

性能亮点

  • Pointwise Evaluation: GSR improved exact score agreement by 0.62–6.75 percentage points compared to standard Prometheus-style scoring across four datasets.
  • Pairwise Evaluation: Achieved the highest end-to-end pairwise accuracy on two major preference benchmarks, effectively handling native tie and abstention policies.
  • 单点评分评估（Pointwise Evaluation）： 在四个数据集上，与标准的 Prometheus 风格评分相比，GSR 将精确分数的一致性提高了 0.62–6.75 个百分点。
  • 成对偏好评估（Pairwise Evaluation）： 在两个主要的偏好基准测试中实现了最高的端到端成对准确率，并能有效地处理原生的平局和弃权策略。

元数据