跳转至

文章背景与核心概要

在多模态大模型的在线策略蒸馏（on-policy distillation）过程中，模型常常面临复杂的信用分配（credit assignment）难题：基于整条轨迹（trajectory-level）的奖励很难区分一次错误的响应究竟是源于有缺陷的初始感知，还是源于后续的推理错误。尽管诸如感知成功率（PSR）之类的指标试图对这一现象进行量化，但由于低成功率往往会将感知失误与通用的推理难度混为一谈，导致这些指标依然存在模糊性。

为了解决这一痛点，本文作者引入了一种名为感知-纠正蒸馏（Perception-Correction Distillation, PCD）的无标签方法。该方法将下游任务的失败以及教师-学生模型间的分歧作为互补的“证人”，从而精准识别出可纠正的感知错误。PCD 依赖于分离的感知-推理前向演练（rollouts）以及均值保持权重（mean-preserving weights），在不改变核心推理目标的前提下，有效提升了蒸馏的效果。

纠正你所看不见的错误：多模态推理机中感知蒸馏的归因问题 (Correcting What You Cannot See: Credit Assignment for Perception Distillation in Multimodal Reasoners)

作者： Feng Xiong, Leyan Xue, Hongyu Lin
标识符： arXiv:2607.28336 [cs.AI] | DOI: 10.48550/arXiv.2607.28336
提交历史： 2026年7月30日提交；于2026年8月14日进行最后修订（v3版）。

Authors: Feng Xiong, Leyan Xue, Hongyu Lin
Identifiers: arXiv:2607.28336 [cs.AI] | DOI: 10.48550/arXiv.2607.28336
Submission History: Submitted on July 30, 2026; last revised August 14, 2026 (v3).

摘要 (Summary)

多模态推理模型在进行在线策略蒸馏时，往往在信用分配上举步维艰：轨迹级别的奖励无法轻易判断失败的响应是由有缺陷的初始感知引起的，还是由后续的推理错误引起的。虽然诸如感知成功率（PSR）之类的指标试图衡量这一点，但它们仍然具有模糊性，因为低成功率会将感知失败与一般的推理难度混为一谈。

Multimodal reasoning models often struggle with credit assignment during on-policy distillation: trajectory-level rewards cannot easily determine whether a failed response stems from a flawed initial perception or subsequent reasoning errors. While metrics like Perception Success Rate (PSR) attempt to measure this, they remain ambiguous because low success rates conflate perceptual failures with general reasoning difficulty.

为了解决这个问题，作者推出了感知-纠正蒸馏（PCD），这是一种无标签方法，它通过将下游失败和师生分歧作为互补证据，来识别可纠正的感知失败。PCD 依赖于分离的感知-推理过程（rollouts）和均值保持权重，在不改变核心推理目标的情况下改善蒸馏效果。

To address this, the authors introduce Perception-Correction Distillation (PCD), a label-free method that identifies correctable perception failures by using downstream failure and teacher-student disagreement as complementary witnesses. PCD relies on separated perception-reasoning rollouts and mean-preserving weights to improve distillation without altering the core reasoning objective.

核心亮点与结果 (Key Highlights & Results)

  • 软“与”门规则： PCD 将下游失败和师生分歧视为通过贝叶斯证据组合形成的软“与”门，仅在两个证据同时出现时才加强蒸馏。
  • 各基准测试的性能提升：
  • 将 8B \(\to\) 2B 的宏平均从标准 OPD 的 44.50 提升至 47.28。
  • 将 32B \(\to\) 8B 的结果从 56.94 提升至 61.22。
  • 消融实验洞察： 在匹配的 2B 模型消融中，移除 PCD 和分离的 rollout 分别使留存平均性能（held-out average performance）下降了 2.22 和 0.88 个百分点。
  • The Soft AND Gate Rule: PCD treats downstream failure and teacher-student disagreement as a soft "AND" gate formed via Bayesian evidence combination, strengthening distillation only when both witnesses are present.
  • Performance Gains Across Benchmarks:
  • Improves the 8B \(\to\) 2B macro average from 44.50 (with standard OPD) to 47.28.
  • Improves the 32B \(\to\) 8B result from 56.94 to 61.22.
  • Ablation Insights: In matched 2B model ablations, removing PCD and the separated rollout reduces held-out average performance by 2.22 and 0.88 points, respectively.

全文与资源 (Full-Text & Resources)