文章背景与核心概要
在高效部署的实际需求推动下，紧凑型的指令遵循重排器（Instruction-Following Rerankers）备受青睐。然而，传统的蒸馏流程通常通过在静态样本上离线模仿教师模型输出来训练学生模型，这种做法将监督信号严格限制在了教师模型已观测到的排序空间内。
本文引入了一种新颖的两阶段强化学习框架，将离线教师优化与在线学生蒸馏相结合：1）阶段一（离线教师优化）：利用由大模型裁判（LLM-judge）反馈驱动的离线群组相对策略优化（GRPO），在88K个指令遵循样本上增强4B的教师重排器；2）阶段二（在线学生蒸馏）：紧凑的1B学生模型从自身的策略中采样排序，并在这些特定排序上接收软教师派生的奖励，从而有效地将学生的主动探索与有针对性的知识迁移结合起来。
在分布偏移评估（例如在MAIR-11基准测试）下，所提出的1B学生模型实现了 0.7670 nDCG@6 的成绩，比离线成列知识蒸馏（KD）高出 +4.6个百分点。此外，该方法具备强大的扩展能力，能够匹配甚至超过更大的7B强化学习训练重排器，同时持续提升各种学生模型架构的性能。
On-Policy Distillation Meets Off-Policy GRPO: Training Compact Instruction-Following Rerankers
Authors: Vignesh Prabhakar, Jialing Pan, Anil Babu Ankisettipalli
ArXiv ID: arXiv:2609.01947 [cs.LG]
Comments: EMNLP 2026 Findings
Authors: Vignesh Prabhakar, Jialing Pan, Anil Babu Ankisettipalli
ArXiv ID: arXiv:2609.01947 [cs.LG]
Comments: EMNLP 2026 Findings
📌 Summary
紧凑型指令遵循重排器对于高效部署非常理想，但传统的蒸馏流水线通常通过在静态示例上对教师输出进行离线模仿来训练学生模型。这种方法将监督严格限制在教师观察到的排序空间内。
Compact instruction-following rerankers are highly desirable for efficient deployment, but traditional distillation pipelines typically train student models through offline imitation of teacher outputs on static examples. This approach limits supervision strictly to the teacher's observed ranking space.
本文引入了一种新颖的两阶段强化学习框架，将离线教师优化与在线学生蒸馏配对： 1. 阶段 1（离线教师优化）： 4B 教师重排器在 88K 个指令遵循示例中，利用由 LLM 裁判反馈驱动的离线群组相对策略优化（GRPO）得到增强。 2. 阶段 2（在线学生蒸馏）： 紧凑的 1B 学生模型从其自身的策略中对排序进行采样，并在这些特定排序上接收软教师派生的奖励，有效地将主动的学生探索与有针对性的知识迁移结合起来。
This paper introduces a novel two-stage reinforcement learning framework that pairs off-policy teacher optimization with on-policy student distillation: 1. Stage 1 (Off-Policy Teacher Optimization): A 4B teacher reranker is strengthened using off-policy Group Relative Policy Optimization (GRPO) driven by LLM-judge feedback across 88K instruction-following examples. 2. Stage 2 (On-Policy Student Distillation): A compact 1B student model samples rankings from its own policy and receives soft teacher-derived rewards on those specific rankings, effectively coupling active student exploration with targeted knowledge transfer.
在分布偏移下评估时（例如在 MAIR-11 基准测试中），所提出的 1B 学生实现了 0.7670 nDCG@6，比离线成列表知识蒸馏（KD）高出 +4.6 个点。此外，该方法具有稳健的扩展性，匹配或超过了更大的 7B RL 训练重排器，同时持续提升了各种学生模型架构的性能。
When evaluated under distribution shift (e.g., on the MAIR-11 benchmark), the proposed 1B student achieves 0.7670 nDCG@6, outperforming offline listwise Knowledge Distillation (KD) by +4.6 points. Furthermore, the method scales robustly, matching or exceeding larger 7B RL-trained rerankers while consistently boosting the performance of diverse student model architectures.
📋 Bibliographic & Access Information
文献与访问信息
📋 Bibliographic & Access Information
- 提交时间： 2026年9月1日
- 主要主题： 机器学习（
cs.LG）、人工智能（cs.AI） - DOI： 10.48550/arXiv.2609.01947
- 许可证： 知识共享署名 4.0 国际 （查看许可证：
）
- Submitted: September 1, 2026
- Primary Subject: Machine Learning (
cs.LG), Artificial Intelligence (cs.AI)- DOI: 10.48550/arXiv.2609.01947
- License: Creative Commons Attribution 4.0 International (View license:
🔗 全文与资源
🔗 Full-Text & Resources