跳转至

GRPO中隐藏的虚假优势

文章背景与核心概要

本文探讨了群组相对策略优化（GRPO）中一种常被忽视的缺陷——“虚假优势”（Spurious Advantage）。GRPO作为一种利用可验证奖励进行强化学习的流行技术，依赖群组内的奖励统计数据来为各个采样轨迹分配优势幅值。然而，当模型通过纯粹的“猜测”而非合理的推理得出正确答案时，GRPO的优势公式仍会为其赋予高幅值，从而误导策略倾向于猜测性行为。这种现象主要出现在有界答案任务、包含有界子情况的开放答案集，以及拥有充足搜索预算的智能体场景中。

为了解决这一问题，作者提出了 SIGNBALANCE 方法。该方法采用无组合（composition-free）的幅值策略：它保留验证器符号、使用全局尺度，并通过停止梯度（stop-gradient）的逐类重新缩放来恢复零均值平衡。在各种数学和搜索智能体基准测试上的实验表明，SIGNBALANCE 在开放答案数学任务上表现与 GRPO 相当，而在有界答案数学任务和搜索智能体任务上则表现更优。

执行摘要 / Executive Summary

Group Relative Policy Optimization (GRPO) is a popular reinforcement learning technique utilizing verifiable rewards, where advantage estimators assign rollout magnitudes based on within-group reward statistics. While typically rewarding correct reasoning paths, GRPO can inadvertently assign high magnitudes to correct answers achieved purely through guessing—a flaw the authors identify as the spurious advantage.

群组相对策略优化（GRPO）是一种利用可验证奖励的流行强化学习技术，其优势估计器根据群组内的奖励统计数据为每个采样轨迹分配幅值。尽管 GRPO 通常会奖励正确的推理路径，但它无意中也会给纯粹通过“猜测”得到的正确答案分配高幅值——作者将这一缺陷识别为虚假优势（spurious advantage）。

This misleading signal surfaces primarily in three scenarios: 1. Bounded-answer tasks with small candidate sets. 2. Open-answer sets housing bounded sub-cases. 3. Search agents whose search budgets provide multiple paths to the same answer.

这种误导性信号主要出现在以下三种场景中： 1. 具有小型候选集的有界答案任务（Bounded-answer tasks）。 2. 包含有界子情况的开放答案集（Open-answer sets）。 3. 其搜索预算为同一答案提供多条路径的搜索智能体（Search agents）。

To combat this, the authors introduce SIGNBALANCE, a composition-free magnitude approach that preserves verifier signs, utilizes a global scale, and restores zero-mean balance via a stop-gradient per-class rescaling. Empirical evaluations across various math and search agent benchmarks demonstrate that SIGNBALANCE performs on pat with GRPO on open-answer math tasks while outperforming it on bounded-answer math and search agent tasks.

为了解决这一问题，作者引入了 SIGNBALANCE，这是一种无组合（composition-free）的幅值方法，它保留了验证器符号、使用全局尺度，并通过停止梯度（stop-gradient）的逐类重新缩放来恢复零均值平衡。在各种数学和搜索智能体基准测试上的经验评估表明，SIGNBALANCE 在开放答案数学任务上的表现与 GRPO 相当，而在有界答案数学任务和搜索智能体任务上则优于 GRPO。

摘要 / Abstract

Group Relative Policy Optimization (GRPO) is widely studied for reinforcement learning with verifiable rewards, where its advantage estimator assigns each rollout a magnitude from within-group reward statistics. In the common case, this magnitude rewards rollouts that reach the correct answer through reasoning. Yet, an overlooked case shares the same surface: a rollout may land on it by guessing, and the formula still assigns a high magnitude, which we identify as the spurious advantage. This arises in three cases: bounded-answer tasks with a small candidate set; open-answer sets hosting bounded sub-cases; and search agents whose budget opens many paths to the same answer. In all three, this misleads the policy toward guess-like behaviors. We propose SIGNBALANCE, whose magnitude is composition-free: it keeps the verifier sign, uses a global scale, and restores zero-mean balance via a stop-gradient per-class rescaling. Across math and search agent benchmarks at different scales, SIGNBALANCE matches GRPO on open-answer math and improves on bounded-answer math and search agents. Code will be released.

群组相对策略优化（GRPO）在利用可验证奖励进行强化学习的研究中得到了广泛应用，其优势估计器根据群组内的奖励统计数据为每个采样轨迹分配幅值。在常见情况下，该幅值会奖励通过推理得出正确答案的轨迹。然而，一个被忽视的情况却有着相同的表面现象：轨迹可能通过猜测偶然命中正确答案，而公式仍然会为其分配高幅值，我们将其识别为虚假优势。这种情况出现在三种情况下：具有小型候选集的有界答案任务；包含有界子情况的开放答案集；以及其预算开辟了通往同一答案的多条路径的搜索智能体。在这三种情况下，这都会误导策略产生类似猜测的行为。我们提出了 SIGNBALANCE，其幅值是无组合的：它保留验证器符号，使用全局尺度，并通过停止梯度逐类重新缩放恢复零均值平衡。在不同规模的数学和搜索智能体基准测试中，SIGNBALANCE 在开放答案数学任务上与 GRPO 相当，并改进了有界答案数学和搜索智能体任务。相关代码将会开源。

核心亮点与元数据 / Key Highlights & Metadata

  • Primary Subject: Artificial Intelligence (cs.AI)
  • Proposed Method: SIGNBALANCE (composition-free magnitude estimator with verifier sign retention, global scaling, and stop-gradient per-class zero-mean rescaling)
  • Performance: Matches GRPO on open-answer math tasks; improves upon GRPO on bounded-answer math benchmarks and search agent tasks.
  • Full-Text & Resources:
  • View PDF
  • HTML Version (Experimental)

  • TeX Source

  • 主要学科： 人工智能 (cs.AI)

  • 提出方法： SIGNBALANCE（一种无组合的幅值估计器，具有验证器符号保留、全局缩放和停止梯度逐类零均值重新缩放功能）
  • 性能表现： 在开放答案数学任务上与 GRPO 性能相当；在有界答案数学基准测试和搜索智能体任务上优于 GRPO。
  • 全文与资源：
  • 查看 PDF
  • HTML 版本（实验性）
  • TeX 源码