跳转至

顺序优于联合：探索策略内蒸馏与RLVR之间的相互作用

文章背景与核心概要

在当前大语言模型（LLM）的推理能力后训练阶段，带有可验证奖励的强化学习（RLVR）与策略内蒸馏（On-Policy Distillation, OPD）是两种备受瞩目的主流方法。传统做法通常倾向于将OPD密集的词元级监督信号与稀疏的RL奖励进行同时结合——无论是通过加权相加的组合方式，还是通过教师模型调制的RL优势重缩放。

本文的研究表明，一种简单的两阶段顺序方法（先进行OPD，随后进行RL）在标准的逻辑与数学推理基准测试中，其表现始终优于纯OPD、纯RLVR以及所有同时进行的联合基线方法。该研究深入探讨了两种训练范式之间的相互作用，为如何高效结合蒸馏与强化学习提供了清晰的实践指导。

Abstract Summary / 摘要总结

Reinforcement Learning with Verifiable Rewards (RLVR) and On-Policy Distillation (OPD) are two prominent methods used for post-training reasoning Large Language Models (LLMs). Traditionally, methods combine OPD's dense token-level supervision with sparse RL rewards simultaneously—either through a weighted-additive combination or a teacher-modulated rescaling of the RL advantage.

带可验证奖励的强化学习（RLVR）与策略内蒸馏（OPD）是大语言模型（LLM）后训练推理阶段的两种核心方法。传统方法通常将OPD密集的词元级监督与稀疏的RL奖励同时结合——通过加权相加组合或教师模型调制的RL优势重缩放来实现。

This paper demonstrates that a simple two-stage sequential approach (OPD-then-RL) consistently outperforms pure OPD, pure RLVR, and all simultaneous joint baselines across standard logic and math reasoning benchmarks.

本文证明，一种简单的两阶段顺序方法（先OPD后RL）在各项标准的逻辑和数学推理基准测试中，其表现全面优于纯OPD、纯RLVR以及所有同时优化的联合基线方法。

Key Findings & Insights / 核心发现与见解

  • Why Sequential Beats Joint:
  • OPD broadens the student model's coverage of teacher-supported solutions.
  • RLVR subsequently refines and sharpens performance strictly within that supported solution space.
  • Joint Optimization Failure: Optimizing both signals simultaneously creates signal interference and entanglement.
  • 为什么顺序优于联合：
  • OPD 拓宽了学生模型对教师模型支持的解空间的覆盖范围。
  • RLVR 随后在该支持的解空间内严格进行性能的精炼与提升。
  • 联合优化的失败： 同时优化这两种信号会产生信号干扰与纠缠。
  • Practical Guidelines:
  • The OPD validation score serves as the optimal indicator for when to transition to the RL stage.
  • OPD proves to be a significantly more effective cold start for RL compared to standard Supervised Fine-Tuning (SFT).
  • 实践指南：
  • OPD验证集得分是决定何时过渡到RL阶段的最佳指标。
  • 与标准的监督微调（SFT）相比，OPD被证明是RL更为有效的冷启动方式。

(License Icon Reference: license icon)

(许可图标参考：license icon)