在模型动摇处分叉：面向树状结构强化学习的信念转移分支策略

Fork Where the Model Changes Its Mind: Belief-Shift Branching for Tree-Structured Reinforcement Learning

arXiv: 2609.11061 [cs.AI]
Submitted on: 10 September 2026
Authors: Bin Lei, Yu Li, Prafulla Kumar Choubey, Jiaxin Zhang, Becky Xiangyu Peng, Qinyuan Ye, Kartik Narayan, Caiwen Ding, Silvio Savarese, Chien-Sheng Wu

文章背景与核心概要

在无评论家 (Critic-Free) 且具备可验证奖励的强化学习 (Reinforcement Learning with Verifiable Rewards, RLVR) 中，通过在生成链的中间步骤进行分叉展开树状结构采样，可以通过比对兄弟轨迹的胜负差异来精准估算单步价值分配。然而，受限于实际采样算力预算，每条生成链只能进行极少数分叉；若分叉点选在胜负已定的平淡步骤，衍生出的分支将得出完全一致的结果，无法提供任何有效的信用分配信号。为此，本研究将分叉点选择形式化为寻找价值曲线转折“枢轴点 (Pivots)”的数学问题，创造性地提出了 信念转移分支策略 (Belief-Shift Branching)。该方法通过监测模型在候选边界处的底层答案信念，在信念发生剧烈漂移的前夕精准触发分叉，且无需任何步骤级的人工监督。实验表明，该策略在极低计算开销下（数学任务中仅占单步算力的 1%，代码任务中低于 5%），全面超越了基于结构划分、Token 熵及大模型裁判的传统基准，在 OLMo-3-7B 等模型上的数学和编程推理任务中均取得了显著的性能跃升。

核心执行概要

Executive Summary

在具备可验证奖励且无评论家 (Critic-Free) 的强化学习 (RLVR) 中，树状结构的展开轨迹通过在生成链的中间节点进行分叉、并评估兄弟分支输出之间的差异，为大语言模型提供了步骤级别的信用分配 (Step-Level Credit)。然而，受限于现实中的采样计算预算，每条生成链允许的分叉数量非常有限。如果分叉位置选择不当——例如选在最终结果已经尘埃落定的阶段——就会生成高度同质化的冗余分支，几乎无法提供任何有效的学习信号。

Tree-structured rollouts in critic-free reinforcement learning with verifiable rewards (RLVR) offer step-level credit by forking generation chains at intermediate points and evaluating the differences in sibling outcomes. However, realistic sampling budgets limit the number of available forks per chain. Poorly placed forks—such as those where the final outcome is already determined—yield redundant siblings that provide virtually no credit signal.

为了解决这一难题，作者团队将分叉位置的选择形式化为定位生成链价值曲线中的关键枢轴点 (Pivots)，并提出了一种名为信念转移分支 (Belief-Shift Branching) 的全新策略。该方法在候选步骤边界监测模型底层的答案信念变化，并在连续信念发生最剧烈分歧的关键步骤前夕果断分叉。该方案完全不需要步骤级的外部监督，并且可以通过三种不同的模型访问层级（黑盒探针、Logit-Lens 深度分析剖面以及学习得到的激活方向）高效运行。实证评估表明，信念转移分支在多种模型家族与垂直领域（数学推理和代码生成）中，均持续优于基于固定结构、Token 熵以及大模型裁判的基准方案，带来了显著的性能飞跃。

To solve this, the authors formalize fork placement as identifying the pivots of a chain's value curve, introducing a novel strategy called belief-shift branching. This approach monitors the model's underlying answer belief at candidate boundaries and forks right before consecutive beliefs diverge most. Requiring zero step-level supervision, the method operates efficiently via three distinct access levels (a black-box probe, a logit-lens depth profile, and a learned activation direction). Empirical evaluations demonstrate that belief-shift branching consistently outperforms structural, entropy-based, and LLM-judge baselines, yielding substantial performance gains across multiple model families and domains (mathematics and code).

论文摘要

Abstract

💬 [原文引用 / Original Quote]: Tree-structured rollouts give critic-free reinforcement learning with verifiable rewards (RLVR) step-level credit: fork a chain at an intermediate point, and sibling outcome differences estimate step value. Each fork adds sampling cost, so realistic budgets typically allow only a few forks per chain. A fork placed where the outcome is already largely settled yields siblings that mostly agree and provide almost no credit signal; hence, for a given tree size, where forks are placed largely determines how much step-level RL can gain. Most existing mainstream methods place forks by structure, such as fixed lengths, midpoints, and delimiters, or by next-token entropy. We formalize fork placement as locating the pivots of the chain's value curve, where the expected outcome turns. We propose belief-shift branching: read the model's answer belief at candidate boundaries and fork just before the step where consecutive beliefs diverge most. Three instantiations, none needing step-level supervision, span access levels: a black-box probe, a logit-lens depth profile, and a learned activation direction, which is fit offline and therefore used only in the validation before RL training. The signal only places forks, and the probe costs about \(1\%\) of step compute on mathematics and under \(5\%\) on code when it runs inside the rollout engine. In that validation, against Monte-Carlo value curves, a belief-shift signal ranks first in each of the eight model\(\times\)benchmark panels, ahead of entropy, structural, and LLM-judge baselines. In RL across three model families and two domains, belief-shift forking leads every mathematics aggregate, on OLMo-3-7B by \(+2.6\) aggregate and \(+2.9\) on AIME 2026 over the strongest baseline, and sweeps every OLMo code column, by \(+6.5\) on LiveCodeBench-medium.

树状结构采样为具备可验证奖励的免评论家强化学习 (RLVR) 赋予了步骤级信用：在中间某个节点分叉展开一条链，利用兄弟分支的最终结果差异即可估计该步骤的价值。每一次分叉都会增加采样开销，因此在实际算力预算下，通常每条生成链仅允许极少数的分叉。如果在最终结局已基本确定的位置进行分叉，所生成的兄弟分支将高度趋同，几乎无法提供任何信用分配信号；因此，在固定的树规模下，分叉位置的选择在很大程度上决定了步骤级强化学习能获得多大的收益。目前主流方法大多依据结构（如固定长度、中点和分隔符）或下一个 Token 的熵来放置分叉。我们将分叉点选择形式化为定位生成链价值曲线的关键枢轴点 (Pivots)，即预期结果发生转折的时刻。我们提出了信念转移分支 (Belief-Shift Branching)：在候选边界处读取模型对最终答案的信念，并在前后连续信念分歧最大的步骤前夕进行分叉。我们设计了三种均无需步骤级监督的具体实现，覆盖不同的系统访问权限：黑盒探针、Logit-Lens 深度分析剖面，以及离线拟合并仅用于强化学习训练前验证的习得激活方向。该信号仅用于定位分叉点；当在展开引擎内部运行时，探针在数学任务上仅耗费约 \(1\%\) 的单步计算量，在代码任务上低于 \(5\%\)。在基于蒙特卡洛价值曲线的验证中，信念转移信号在全部八个“模型\(\times\)基准”评估组中均名列第一，领先于熵基线、结构基线和大模型裁判基线。在横跨三个模型家族与两个领域的强化学习实测中，信念转移分叉在所有数学综合指标上均保持领先，在 OLMo-3-7B 上相较于最强基线提升了 \(+2.6\) 的综合得分以及在 AIME 2026 上提升了 \(+2.9\)；并在 OLMo 的全部代码测试项中拔得头筹，在 LiveCodeBench-medium 上取得了 \(+6.5\) 的显著优势。

核心亮点与特性

Key Highlights & Features

• 解决的痛点问题： 大语言模型 (LLM) 树状结构强化学习中的低效分叉放置问题；无效的分叉位置白白浪费有限的算力预算，却无法提供富有价值的信用分配信号。
• 提出的解决方案： 信念转移分支 (Belief-Shift Branching)，通过评估前后连续答案信念分歧最大的关键点，精准定位模型价值曲线的转折枢轴。
• 极高的执行效率： 探针机制引入的额外开销极低，在数学任务中仅消耗约 1% 的单步算力，在代码任务中低于 5%。
• 卓越的实证表现：
• 在所有“模型-基准测试”验证组中，全面超越所有基于结构规则、Token 熵和大语言模型裁判的基线方案。
• 在跨越多种模型架构与领域的强化学习训练中取得显著性能提升（例如在 OLMo-3-7B 模型的 AIME 2026 基准上提升 \(+2.9\)，在 OLMo 代码任务的 LiveCodeBench-medium 上提升 \(+6.5\)）。

• Problem Addressed: Inefficient fork placement in tree-structured reinforcement learning for LLMs, where ineffective fork locations waste limited compute budgets without providing meaningful credit signals.
• Proposed Solution: Belief-Shift Branching, which locates the pivots of a model's value curve by evaluating where consecutive answer beliefs diverge most.
• Efficiency: The probe mechanism introduces minimal overhead, consuming only ~1% of step compute for mathematics tasks and under 5% for code tasks.
• Empirical Superiority:
• Outperforms all structural, entropy, and LLM-judge baselines across model-benchmark validation panels.
• Achieves significant performance lifts in RL across multiple model families and domains (e.g., \(+2.9\) on AIME 2026 for OLMo-3-7B; \(+6.5\) on LiveCodeBench-medium for OLMo code tasks).

文章元数据

Article Metadata

属性	详情
主要学科领域	人工智能 (cs.AI)
DOI	10.48550/arXiv.2609.11061
全文链接	查看 PDF | 网页版 (实验性) | TeX 源码
授权协议	知识共享署名 4.0 国际许可协议 (CC BY 4.0)

Property	Details
Primary Subject	Artificial Intelligence (cs.AI)
DOI	10.48550/arXiv.2609.11061
Full-Text Links	View PDF | HTML (Experimental) | TeX Source
License	Creative Commons Attribution 4.0 International