跳转至

语言模型评分细则引导强化学习综述

文章背景与核心概要

本文介绍了由 Zifei Shan 与 Fangning Shao 撰写并被 Findings of EMNLP 2026 录用的关于大语言模型（LLM）评分细则引导强化学习（Rubric-Guided RL）的综合综述。传统基于人类反馈的强化学习（RLHF）依赖于标量奖励信号，缺乏可解释性，难以捕捉回答质量的多维特性。为此，该论文引入了一个统一的贝叶斯框架，将结构化评估准则（即评分细则）形式化，以提高模型的可解释性与对齐效果。

文章沿着先验-后验轴对现有技术进行了分类，涵盖了宪法式AI、实例特定评分细则、过程级监督、自我演化评分细则，以及它们的智能体与多模态扩展。此外，由于评分细则本质上是自然语言产物，论文对其进行了深入的语言学分析，探讨了粒度权衡、语义漂移和语言学奖励攻击如何影响对齐的可靠性，并指出了未来研究的关键开放性问题。

摘要与文档信息 (Metadata & Document Information)

属性 详情
作者 Zifei Shan, Fangning Shao
提交日期 2026年8月27日
主学科 计算与语言 (cs.CL)
次学科 人工智能 (cs.AI)
ACM 分类 I.2.7; I.2.6
arXiv 标识符 arXiv:2608.27505 [cs.CL]
DOI 10.48550/arXiv.2608.27505
会议状态 已被 Findings of EMNLP 2026 录用

摘要 (Abstract)

基于人类反馈的强化学习（RLHF）已成为将大语言模型（LLM）与人类偏好对齐的主流范式。然而，传统的 RLHF 依赖于缺乏可解释性的标量奖励信号，且无法捕捉响应质量的多面性。

评分细则引导的强化学习通过引入结构化、可解释的评估准则（或称评分细则）作为奖励设计、反馈生成和策略优化的支柱，解决了这些局限性。在这篇综述中： * 贝叶斯框架： 我们引入了一个贝叶斯框架，将宪法定义为评估准则的先验分布 \(P(R)\)，并将评分细则定义为条件实例化 \(R_x \sim P(R|x)\)。 * 分类法： 在此统一视角下，我们沿着先验-后验轴提出了评分细则引导强化学习的分类体系，涵盖宪法式AI、实例特定评分细则、过程级监督、自我演化评分细则及其智能体和多模态扩展。 * 语言学分析： 由于评分细则属于自然语言产物，我们对粒度权衡、语义漂移以及语言学奖励攻击如何影响对齐可靠性进行了语言学分析，并确定了未来研究的关键开放性问题。

Reinforcement learning from human feedback (RLHF) has become the dominant paradigm for aligning large language models (LLMs) with human preferences. However, traditional RLHF relies on scalar reward signals that lack interpretability and fail to capture the multifaceted nature of response quality.

Rubric-guided reinforcement learning addresses these limitations by introducing structured, interpretable evaluation criteria, or rubrics, as the backbone of reward design, feedback generation, and policy optimization. In this survey: * Bayesian Framework: We introduce a Bayesian framework that defines constitutions as prior distributions \(P(R)\) over evaluation criteria and rubrics as conditional instantiations \(R_x \sim P(R|x)\). * Taxonomy: Under this unified view, we present a taxonomy of rubric-guided RL along the prior-posterior axis, covering constitutional AI, instance-specific rubrics, process-level supervision, self-evolving rubrics, and their agentic and multimodal extensions. * Linguistic Analysis: As rubrics are natural-language artifacts, we present a linguistic analysis of how granularity trade-offs, semantic drift, and linguistic reward hacking impact alignment reliability, identifying key open problems for future research.

全文与外部资源 (Full-Text & External Resources)