跳转至

蒸馏前先验证：面向在线蒸馏的提示级教师门控机制

文章背景与核心概要

本文介绍了名为《Verify Before You Distill: Prompt-Level Teacher Gating for On-Policy Distillation》的研究工作，该研究针对传统在线策略蒸馏（On-Policy Distillation, OPD）中存在的根本性漏洞提出了创新的解决方案。在常规的 OPD 中，来自冻结教师模型的密集词元级监督被无条件地应用于学生模型生成的 rollout 上，然而由于反向 KL 散度具有寻模（mode-seeking）特性，当教师模型表现出“自信且错误”的状态时，便会产生强烈但极具误导性的更新。

为了克服这一缺陷，作者提出了教师门控在线策略蒸馏（Teacher-Gated On-Policy Distillation, TGOPD）框架。该方法在引入密集监督之前，通过一小批经过验证器打分的教师探测样本，在提示（prompt）级别对教师的可靠性进行评估：通过验证的提示会被路由至常规的密集 OPD，而未通过的提示则会被路由至基于验证器的 GRPO。实验表明，TGOPD 不仅在数学、编程和指令遵循等任务上的 4B 和 35B 模型规模下全面超越传统 OPD，还将异步 OPD 中闲置的教师计算资源有效利用起来，使教师节点的 GPU 利用率从 9.8% 大幅提升至 78.9%。

摘要 (Abstract)

On-policy distillation (OPD) accelerates post-training by providing dense token-level supervision from a frozen teacher on the student's own rollouts. Vanilla OPD applies this supervision uniformly across prompts, without checking whether the teacher is reliable for each prompt. Because reverse KL is mode-seeking, a confidently wrong teacher can induce a strong yet misleading update. Distributional proxies, such as entropy or teacher-student likelihood agreement, measure uncertainty or agreement but do not directly verify outcome correctness. We introduce Teacher-Gated On-Policy Distillation (TGOPD), built on the principle that teacher reliability should be verified at the prompt level before dense supervision is admitted. TGOPD estimates reliability from a small set of verifier-scored teacher probes and routes each prompt exclusively to dense OPD when the reliability check passes or to verifier-grounded GRPO otherwise. Across 4B and 35B students in mathematics, code, and instruction following, TGOPD outperforms Vanilla OPD in all six single-domain settings and achieves higher seven-benchmark averages at both scales under multi-domain training. By using otherwise-idle teacher capacity for reliability estimation, TGOPD also reduces teacher-side compute waste in asynchronous OPD, increasing teacher-node GPU utilization from 9.8% to 78.9% in the measured 4B single-domain run.

在线策略蒸馏（OPD）通过在学生模型自身的 rollout（生成轨迹）上利用冻结的教师模型提供稠密的词元级监督，从而加速后训练过程。传统的 OPD 在所有提示词上统一应用这种监督，而没有检查教师模型对每个提示词是否可靠。由于反向 KL 散度具有寻模特性，一个“自信且错误”的教师模型可能会诱导强大但具误导性的更新。诸如熵或教师-学生似然一致性等分布代理指标虽然能够测量不确定性或一致性，但无法直接验证输出结果的正确性。为此，我们引入了教师门控在线策略蒸馏（TGOPD），其核心原则是：在接入密集监督之前，应在提示级别验证教师的可靠性。TGOPD 通过一小批经过验证器打分的教师探测样本来估计可靠性，并在可靠性检查通过时将每个提示专用于密集 OPD，否则将其路由至基于验证器的 GRPO。在数学、代码和指令遵循任务中的 4B 和 35B 学生模型上，TGOPD 在所有六个单领域设置中均优于传统 OPD，并且在多领域训练下的两个规模上均实现了更高的七项基准测试平均分。通过将原本闲置的教师算力用于可靠性估计，TGOPD 还减少了异步 OPD 中教师端的计算浪费，在测量的 4B 单领域运行中，将教师节点的 GPU 利用率从 9.8% 提升到了 78.9%。

全文与资源 (Full-Text & Resources)