跳转至

文章背景与核心概要

群组相对策略优化（Group Relative Policy Optimization, GRPO）是大语言模型（LLMs）中一种备受瞩目的强化学习算法。然而，它存在一个结构性不稳定问题：通过将 PPO 风格的词元级裁剪（token-level clipping）与序列级优势（sequence-level advantages）相结合，它在（似然比，优势）空间中留下了一个“盲区”。具体而言，在第四象限（负优势伴随似然比增加）中，模型会接收到过大的抑制性更新，从而导致熵坍塌（entropy collapse）和推理边界的缩小。

为此，本文作者推出了全象限有界裁剪 GRPO（All-Quadrant Bounded Clipping GRPO, ABC-GRPO）。该方法在所有四个象限中应用了依赖符号的无条件裁剪。通过在第二象限实现信任域下限并在第四象限实现上限，ABC-GRPO 确保了有界的策略位移。在 Qwen3 基础模型上的实验结果表明，ABC-GRPO 优于标准的 GRPO、SAPO 以及双裁剪 PPO（dual-clip PPO），在数学推理（Avg@64 和 Pass@64）上表现出卓越的性能，并对代码生成（HumanEval）展现出很强的泛化能力。

全象限有界裁剪 GRPO：消除无界盲区以实现稳定且泛化的训练

作者： Chi Liu, Xin Chen
arXiv： 2601.03895 [cs.LG]
提交时间： 2026年1月7日 (v1), 2026年8月6日 (v2)

摘要 (Summary)

Group Relative Policy Optimization (GRPO) is a prominent reinforcement learning algorithm for Large Language Models (LLMs). However, it suffers from a structural instability: by combining PPO-style token-level clipping with sequence-level advantages, it leaves a "blind spot" in the (likelihood-ratio, advantage) space. Specifically, in the fourth quadrant (negative advantage with an increased likelihood ratio), the model can receive excessively large suppressive updates, leading to entropy collapse and narrowed reasoning boundaries.

群组相对策略优化（GRPO）是大语言模型（LLMs）中一种备受瞩目的强化学习算法。然而，它存在一个结构性不稳定问题：通过将 PPO 风格的词元级裁剪与序列级优势相结合，它在（似然比，优势）空间中留下了一个“盲区”。具体而言，在第四象限（负优势伴随似然比增加）中，模型会接收到过大的抑制性更新，从而导致熵坍塌和推理边界的缩小。

The authors introduce All-Quadrant Bounded Clipping GRPO (ABC-GRPO), which applies sign-dependent, unconditional clipping across all four quadrants. By implementing a trust-region floor in the second quadrant and a cap in the fourth, ABC-GRPO ensures bounded policy displacement. Empirical results on Qwen3 base models demonstrate that ABC-GRPO outperforms standard GRPO, SAPO, and dual-clip PPO, showing superior performance on mathematical reasoning (Avg@64 and Pass@64) and strong transferability to code generation (HumanEval).

为此，作者推出了全象限有界裁剪 GRPO（ABC-GRPO），该算法在所有四个象限中应用了依赖符号的无条件裁剪。通过在第二象限实现信任域下限并在第四象限实现上限，ABC-GRPO 确保了有界的策略位移。在 Qwen3 基础模型上的实验结果表明，ABC-GRPO 优于标准的 GRPO、SAPO 以及双裁剪 PPO，在数学推理（Avg@64 和 Pass@64）上表现出卓越的性能，并对代码生成（HumanEval）展现出很强的泛化能力。

核心贡献 (Key Contributions)

  • Four-Quadrant Analysis: Identifies that the combination of token-level clipping and sequence-level advantages creates an unbounded update mechanism in the Q4 quadrant.
  • ABC-GRPO Algorithm: Proposes a novel clipping mechanism that applies constraints before multiplying by the advantage, effectively capping suppressive updates and preventing policy collapse.
  • Mathematical & Generalization Gains: Achieves state-of-the-art performance on benchmarks like MATH-500 and HumanEval while maintaining higher policy entropy compared to baseline methods.
  • Ablation Studies: Confirms that the Q4 quadrant is the primary source of instability in existing GRPO implementations.
  • 四象限分析： 发现词元级裁剪与序列级优势的组合在 Q4 象限中产生了一个无界的更新机制。
  • ABC-GRPO 算法： 提出了一种新型裁剪机制，在与优势相乘之前应用约束，从而有效地限制了抑制性更新并防止了策略坍塌。
  • 数学与泛化增益： 在 MATH-500 和 HumanEval 等基准测试中达到了 SOTA（最先进的）性能，同时与基线方法相比保持了更高的策略熵。
  • 消融实验： 证实了 Q4 象限是现有 GRPO 实现中不稳定的主要来源。

访问与元数据 (Access & Metadata)