跳转至

让信用跟随计算：面向大语言模型强化学习的架构感知信用传递

文章背景与核心概要

在大语言模型（LLM）的强化学习（RL）训练中，传统的信用分配（Credit Assignment）方法通常依赖于与模型架构无关的传递算子，例如固定折扣广义优势估计（GAE）或群组相对结果广播。然而，这些方法无法捕捉由 Transformer 策略所执行的具体内部计算过程，导致训练效率和准确性受限。

为了弥补这一差距，本文提出了计算条件信用传递（Computation-Conditioned Credit Transport, CCT）这一通用框架。在该框架中，行为策略内部计算的一个独立统计量被用于参数化因果核，从而将下游价值在整个 Rollout 轨迹中进行传递。其具体算法 CompPO 将原生注意力集中度映射为有界的逐 Token 保留门控，优化了单步自举和路径依赖的广义优势迹（Comp-GAE），并利用了传递对齐评论家（TAC），在复用演员隐藏状态的同时无需冗余的大规模 Transformer。实验表明，CompPO 在多个主流模型和任务上展现出显著的性能提升和更高的训练稳定性。

执行摘要 / Executive Summary

Credit assignment in Reinforcement Learning (RL) for Large Language Models (LLMs) traditionally relies on architecture-agnostic transport operators, such as fixed-discount Generalized Advantage Estimation (GAE) or group-relative outcome broadcasts. These methods fail to capture the specific internal computations performed by the Transformer policy.

大语言模型（LLM）强化学习（RL）中的信用分配传统上依赖于与架构无关的传递算子，例如固定折扣的广义优势估计（GAE）或群组相对结果广播。这些方法无法捕捉由 Transformer 策略执行的具体内部计算过程。

To bridge this gap, this paper introduces Computation-Conditioned Credit Transport (CCT)—a general framework where a detached statistic of the behavior policy's internal computation parameterizes the causal kernel that transports downstream value through a rollout.

为了弥补这一差距，本文引入了计算条件信用传递（CCT）——这是一个通用框架，其中行为策略内部计算的一个独立统计量被用来参数化因果核，从而在整条采样轨迹（rollout）中传递下游价值。

Its concrete algorithm, CompPO, maps native attention concentration to a bounded per-token retention gate, optimizes both the one-step bootstrap and a path-dependent generalized-advantage trace (Comp-GAE), and utilizes a Transport-Aligned Critic (TAC) that reuses actor hidden states without requiring a redundant second-scale Transformer.

其具体算法 CompPO 将原生注意力集中度映射到一个有界的逐 Token 保留门控，优化了单步自举以及路径依赖的广义优势迹（Comp-GAE），并利用了一个传递对齐评论家（TAC），该评论家能够复用演员（actor）的隐藏状态，而无需第二个同等规模的冗余 Transformer。

核心亮点与发现 / Key Highlights & Findings

  • Superior Accuracy: Across five Qwen3-4B seeds, CompPO achieves a final held-out accuracy of 61.4% (95% CI: [60.8, 62.0]), significantly outperforming tuned GRPO (53.8% [52.9, 54.7]).
  • 卓越的准确率： 在五个 Qwen3-4B 随机种子下，CompPO 达到了 61.4%（95% 置信区间：[60.8, 62.0]） 的最终保留集准确率，显著优于经过调优的 GRPO（53.8% [52.9, 54.7]）。
  • Robust Ablations:
  • Comp-GAE with a standard critic achieves 55.2%.
  • TAC with a fixed gate achieves 56.4%.
  • The full interaction model outperforms components by +2.4 [1.9, 2.9] points.
  • 稳健的消融实验：
    • 使用标准评论家的 Comp-GAE 达到 55.2%。
    • 采用固定门控的 TAC 达到 56.4%。
    • 完整的交互模型比单独组件高出 +2.4 [1.9, 2.9] 个百分点。
  • Training Stability: CompPO is stable in 10 out of 12 PPO-grid runs, compared to only 3 out of 12 for baseline methods.
  • 训练稳定性： 在 12 次 PPO 网格运行中，CompPO 在 10 次中保持稳定，而基线方法仅在 3 次中稳定。
  • Frozen Evaluation: Outperforms GRPO by 4.3 and 3.9 greedy pass@1 macro points on Qwen3-4B and Llama-3.1-8B-Instruct, respectively.
  • 冻结评估（Frozen Evaluation）： 在 Qwen3-4B 和 Llama-3.1-8B-Instruct 上，其贪婪 pass@1 宏平均指标分别比 GRPO 提升了 4.3 和 3.9 个点。

摘要 / Abstract

Credit assignment in large-language-model reinforcement learning (LLM RL) can be separated into three objects: evidence about success, a transport operator that converts this evidence into token-level advantages, and an update geometry that turns advantages into policy changes. Recent work has greatly improved evidence, sampling, and update geometry, but the transport operator is usually architecture-agnostic. Fixed-discount GAE applies a stationary geometric kernel along token time; group-relative methods broadcast an outcome statistic across an entire response. Neither operator represents the trajectory-specific computation used by the Transformer policy itself.

大语言模型强化学习（LLM RL）中的信用分配可以分为三个核心对象：关于成功的证据、将该证据转换为 Token 级优势的传递算子，以及将优势转化为策略改变的更新几何结构。近期的大量工作极大地改进了证据、采样和更新几何结构，但传递算子通常与模型架构无关。固定折扣的 GAE 沿 Token 时间应用平稳的几何核；群组相对方法则将结果统计量广播到整个响应中。这两种算子都无法代表 Transformer 策略本身所使用的特定于轨迹的计算过程。

We introduce computation-conditioned credit transport (CCT), a general framework in which a detached statistic of the behavior policy's internal computation parameterizes the causal kernel that transports downstream value through a rollout. Our concrete algorithm, CompPO, maps native attention concentration to a bounded per-token retention gate, uses the gate in both the one-step bootstrap and a path-dependent generalized-advantage trace (Comp-GAE), and co-designs a transport-aligned critic (TAC) that reuses the actor's hidden states and routing information without a second same-scale Transformer. The task reward and clipped PPO policy objective remain unchanged; a constant gate recovers fixed-coefficient GAE. Across five Qwen3-4B seeds, CompPO reaches 61.4% final held-out accuracy (95% CI [60.8,62.0]) versus 53.8% [52.9,54.7] for tuned GRPO. Neither Comp-GAE with a standard critic (55.2%) nor TAC with a fixed gate (56.4%) matches the full model (interaction +2.4 [1.9,2.9]). Shuffle and position controls confirm trajectory-specific alignment; CompPO is stable in 10/12 PPO-grid runs versus 3/12. Frozen evaluation improves over GRPO by 4.3 and 3.9 greedy pass@1 macro points on Qwen3-4B and Llama-3.1-8B-Instruct.

我们引入了计算条件信用传递（CCT）这一通用框架，在该框架中，行为策略内部计算的一个独立统计量参数化了因果核，从而在采样轨迹中传递下游价值。我们的具体算法 CompPO 将原生注意力集中度映射到一个有界的逐 Token 保留门控上，在单步自举和路径依赖的广义优势迹（Comp-GAE）中均使用了该门控，并共同设计了一个传递对齐评论家（TAC），该评论家复用了演员的隐藏状态和路由信息，而无需第二个同规模的 Transformer。任务奖励和裁剪的 PPO 策略目标保持不变；常数门控则可退化为固定系数的 GAE。在五个 Qwen3-4B 随机种子下，CompPO 达到了 61.4% 的最终保留集准确率（95% 置信区间 [60.8, 62.0]），而调优后的 GRPO 为 53.8% [52.9, 54.7]。无论是带有标准评论家的 Comp-GAE（55.2%）还是带有固定门控的 TAC（56.4%）都无法匹敌完整模型（交互作用 +2.4 [1.9, 2.9]）。混洗和位置控制实验证实了轨迹特定的对齐性；在 12 次 PPO 网格运行中，CompPO 有 10 次保持稳定，而基线仅有 3 次。在冻结评估中，其在 Qwen3-4B 和 Llama-3.1-8B-Instruct 上的贪婪 pass@1 宏平均指标分别比 GRPO 提升了 4.3 和 3.9 个点。