跳转至

提示、评委与教师：视觉语言数学推理中稀疏奖励强化学习的先验注入

文章背景与核心概要

视觉语言数学推理领域的强化学习（RL）模型通常面临极端的奖励稀疏性问题。例如，在一个包含 20,830 个视觉数学问题的任务池中，Qwen2-VL-2B 模型仅能正确解决 3.6% 的采样 rollout，导致 85% 到 97% 的 GRPO rollout 组完全失败，无法提供任何有用的梯度更新。

本文在相同的稀疏奖励条件下，研究了 11 种不同的方法，评估了不同注入先验对学习和迁移能力的影响。研究表明，先验的有效传递至关重要，而评估指标的设计（如避免使用与真实跨域迁移负相关的验证子集）则是准确衡量模型性能的关键。此外，文章还揭示了提示引导探索机制的有效性，并将评论家（critic）的损失函数从标准 MSE 升级为 HL-Gauss 交叉熵，在领域内取得了高达 14.4 个百分点的显著提升。

  • arXiv ID: arXiv:2608.21811 [cs.AI]
  • Authors: Qiqian Fu
  • Submitted: August 22, 2026

Executive Summary

Reinforcement learning (RL) models designed for vision-language mathematical reasoning often suffer from extreme reward sparsity. For instance, on a pool of 20,830 visual-math problems where the Qwen2-VL-2B model solves only 3.6% of rollouts correctly, 85% to 97% of GRPO rollout groups fail entirely, providing zero useful gradient updates.

专为视觉语言数学推理设计的强化学习（RL）模型经常遭受极端的奖励稀疏性困扰。例如，在一个包含 20,830 个视觉数学问题的任务池中，Qwen2-VL-2B 模型仅能正确解决 3.6% 的 rollout，导致 85% 到 97% 的 GRPO rollout 组完全失败，无法提供任何有用的梯度更新。

This paper investigates eleven distinct methods under identical sparse-reward conditions, evaluating how different injected priors affect learning and transfer capabilities: * Text Priors: Reference-solution hints. * Distribution Priors: On-policy distillation from a larger 7B teacher model. * Value Priors: A value-pretrained critic utilizing either MSE or HL-Gauss categorical losses.

本文在相同的稀疏奖励条件下研究了 11 种不同的方法，评估了不同注入的先验如何影响学习和迁移能力： * 文本先验（Text Priors）： 参考解答提示。 * 分布先验（Distribution Priors）： 来自更大 7B 教师模型的在线策略蒸馏（On-policy distillation）。 * 价值先验（Value Priors）： 使用 MSE 或 HL-Gauss 分类损失的价值预训练评论家。

Key Takeaways

  1. Prior Delivery is Critical: The six training arms where the prior successfully reaches the policy clearly separate (with zero overlap) from the remaining five (the baseline with no prior, alongside four arms where the prior was teacher-capped, gated away, or ruined by a mis-parameterized critic). This separation holds true for both in-domain metrics and cross-domain transfer (evaluated via DynaMath).
  2. Evaluation Pitfalls: A specific slice of the in-domain validation pool—historically used as a general-distribution check—actually anti-correlates with genuine cross-domain transfer (\(\text{Spearman } \rho = -0.74\), \(n = 11\), \(p = 0.011\)). Conversely, the hardest in-domain slice predicts true cross-domain performance quite accurately (\(\rho = +0.89\), \(p < 0.001\)).
  3. Methodological Insights: The inversion is traced back to a near-chance multiple-choice subset that rewarded models for remaining static. Consequently, under naive evaluation, the best-performing cross-domain method appeared mediocre, while the worst appeared to be a champion. Furthermore, hint-guided exploration drives the performance gains seen with hints rather than auxiliary losses, and upgrading the critic's loss function from standard MSE to HL-Gauss cross-entropy yields an impressive +14.4 point gain in-domain.

核心要点

  1. 先验传递至关重要： 先验成功到达策略的六个训练分支与其余五个分支（无先验的基线，以及先验被教师截断、门控屏蔽或因评论家参数错误而失效的四个分支）之间存在清晰的分离（零重叠）。这种分离对于域内指标和跨域迁移（通过 DynaMath 评估）都成立。
  2. 评估陷阱： 域内验证池中的一个特定切片（历史上用作通用分布检查）实际上与真正的跨域迁移呈负相关（\(\text{Spearman } \rho = -0.74\), \(n = 11\), \(p = 0.011\)）。相反，最难的域内切片能非常准确地预测真正的跨域性能（\(\rho = +0.89\), \(p < 0.001\)）。
  3. 方法论见解： 这种反转可追溯到一个接近随机猜测的多选题子集，该子集奖励保持静态的模型。因此，在朴素评估下，表现最好的跨域方法显得平庸，而表现最差的方法却成了冠军。此外，提示引导的探索驱动了提示带来的性能提升，而非辅助损失；将评论家的损失函数从标准 MSE 升级为 HL-Gauss 交叉熵，在域内带来了令人印象深刻的 +14.4 个百分点的提升。