跳转至

VICT：面向长视距大模型智能体强化学习的验证器注入信用追溯

文章背景与核心概要

在大模型（LLM）智能体的长视距强化学习（RL）中，细粒度信用分配（Credit Assignment）一直是一个核心挑战。传统的训练目标通常依赖于可通过程序验证的终端奖励，并将稀疏的最终结果平均分摊或广播到整条轨迹中的每一个动作上；而现有的一些改进方法则倾向于从推理侧（Rollout side）入手，通过构建辅助的轨迹信号或额外的比较来估计动作的重要性，这往往会引入额外的计算复杂度和学习负担。

为了解决这一痛点，本文提出了 VICT（Verifier-Instrumented Credit Tracing）方法。该方法的核心洞察在于：许多可验证任务其实在其终端验证器内部就已经编码了相关的检查逻辑。通过公开可执行的原子并借助依赖有效的证明边（dependency-valid proof edges）将其追溯回具体动作，VICT 能够在验证器层面重新分配群组相对优势（group-relative advantage），从而将信用分配从“推理侧推断”转移到“验证器侧追溯”。该方法无需学习型评判器（Critic）、过程标签、分支推演（Rollouts）或推理时的验证器访问权限，在 ALFWorld 和 WebShop 等基准测试中展现出显著优于仅靠结果训练的强大性能。

摘要 (Abstract)

Fine-grained credit assignment is a central challenge in reinforcement learning for long-horizon LLM agents. Standard objectives often train from programmatically verifiable terminal rewards by broadcasting each sparse outcome to every action in a trajectory. Existing methods typically seek finer credit from the rollout side, constructing auxiliary trajectory signals or additional comparisons to estimate action importance.

细粒度信用分配是大模型智能体长视距强化学习中的核心挑战。标准的目标函数通常通过将每个稀疏的结果广播到轨迹中的每个动作，来利用可程序验证的终端奖励进行训练。现有方法通常试图从推理侧寻找更细粒度的信用，构建辅助的轨迹信号或额外的比较来估计动作重要性。

Although useful, these approaches still treat the verifier that judged success as a scalar reward, discarding its internal task structure. Our key insight is that many verifiable tasks already encode the relevant checks inside their terminal verifier.

尽管这些方法有用，但它们仍然把判断成功的验证器当作标量奖励来处理，丢弃了其内部的任务结构。我们的核心见解是：许多可验证的任务已经在其终端验证器内部编码了相关的检查。

We propose VICT (Verifier-Instrumented Credit Tracing), a training-time interface that exposes executable or evidence-backed atoms and traces them back to actions through dependency-valid proof edges. VICT redistributes group-relative advantage only along those edges, shifting credit assignment from rollout-side inference to verifier-side tracing.

我们提出了 VICT（Verifier-Instrumented Credit Tracing，验证器注入信用追溯），这是一种训练时接口，它能够暴露可执行的或基于证据的原子，并通过依赖有效的证明边将它们追溯回动作。VICT 仅沿这些边重新分配群组相对优势，将信用分配从推理侧推断转移到了验证器侧追溯。

It preserves the original terminal reward, abstains when evidence is incomplete or ambiguous, and changes only the training-time advantage tensor, requiring no: * Learned critic * Process labels * Branch rollouts * Inference-time verifier access

它保留了原始的终端奖励，在证据不完整或模棱两可时选择弃权，并且仅改变训练时的优势张量（advantage tensor），完全不需要： * 学习型评判器（Learned critic） * 过程标签（Process labels） * 分支推演（Branch rollouts） * 推理时验证器访问（Inference-time verifier access）

On ALFWorld and WebShop, VICT improves substantially over outcome-only training and achieves strong performance alongside recent fine-grained credit methods; ablations rule out dense atom rewards, final-commit credit, temporal proximity, and sparsity as sufficient explanations.

在 ALFWorld 和 WebShop 上，VICT 相比仅使用结果的训练方式取得了实质性的提升，并与近期的细粒度信用方法并驾齐驱、表现强劲；消融实验排除了密集原子奖励、最终提交信用、时间邻近度以及稀疏性作为充分解释的可能。

摘要与元数据详情 (Metadata & Publication Details)

  • arXiv ID: arXiv:2608.28128 [cs.LG]
  • Accepted At: EMNLP 2026
  • Subjects: Machine Learning (cs.LG); Artificial Intelligence (cs.AI)
  • Submission Date: August 28, 2026
  • Authors:
  • Pengcheng Li
  • Zhengyang Zhang
  • Dongxu Zhang
  • Sui Huang
  • Shaohua Ma