跳转至

基于可验证奖励的同策略蒸馏 (OPDVR)

文章背景与核心概要

大语言模型（LLM）的后训练阶段通常依赖于两种主流范式：基于可验证奖励的强化学习（RLVR）和同策略蒸馏（OPD）。然而，这两种方法各具局限性：RLVR 面临任务级反馈稀疏的问题，而 OPD 虽然提供了密集的 Token 级指导，却忽略了轨迹的正确性，导致其性能上限受限于教师模型。

为了弥补这一差距，本文提出了“基于可验证奖励的同策略蒸馏”（On-policy Distillation with Verifiable Reward, OPDVR）。该方法通过将 OPD 与 RLVR 有机结合，在无需引入额外超参数的前提下，实现了性能的显著提升。OPDVR 通过重构隐式奖励并引入 ReLU 门控机制，将蒸馏信号与任务成功率直接对齐，同时保留了教师模型的分布引导能力，使其能够无缝集成到如 GRPO 等标准策略梯度算法中。

摘要

大语言模型（LLM）的后训练通常依赖于两种主要范式：基于可验证奖励的强化学习 (RLVR) 和 同策略蒸馏 (OPD)。然而，每种方法都有其明显的局限性： * RLVR 受到任务级反馈稀疏性的困扰。 * OPD 提供密集的 Token 级指导，但忽略了轨迹的正确性，导致其性能上限被限制在教师模型的水平。

为了弥补这一差距，本文提出了 基于可验证奖励的同策略蒸馏 (OPDVR)，这是一种简单且有效的方法，它将 OPD 和 RLVR 融合在一起，且无需添加任何超参数。

Post-training large language models (LLMs) often relies on two major paradigms: Reinforcement Learning with Verifiable Rewards (RLVR) and on-policy distillation (OPD). However, each comes with distinct limitations: * RLVR suffers from sparse task-level feedback. * OPD offers dense token-level guidance but ignores trajectory correctness, capping its performance at the teacher's level.

To bridge this gap, On-policy Distillation with Verifiable Reward (OPDVR) is proposed as a simple yet effective method that merges OPD and RLVR without adding any hyperparameters.

核心贡献：

  1. 隐式奖励重构：基于轨迹正确性重构了采样 Token 的 OPD 隐式奖励。
  2. ReLU 门控机制：确保正确的轨迹获得非负奖励，而错误的轨迹获得非正奖励。这使得蒸馏信号直接与任务成功率对齐，同时保留了教师模型的分布引导。
  3. 与策略梯度的兼容性：将采样 Token 的 OPD 转化为一种规范的 RLVR 方法，使其能够轻松集成到 GRPO 等标准策略梯度算法中。

Key Contributions:

  1. Implicit Reward Reformulation: Reformulates the implicit reward of sampled-token OPD based on trajectory correctness.
  2. ReLU Gating Mechanism: Ensures that correct trajectories receive non-negative rewards while incorrect trajectories receive non-positive rewards. This aligns the distillation signal directly with task success while preserving the teacher's distributional guidance.
  3. Compatibility with Policy Gradients: Transforms sampled-token OPD into a proper RLVR method, allowing it to be easily integrated with standard policy gradient algorithms like GRPO.

实验结果

在六个推理基准测试中的评估表明，OPDVR 的表现始终优于标准 OPD。

Experimental Results

Evaluations across six reasoning benchmarks demonstrate that OPDVR consistently outperforms standard OPD.