文章背景与核心概要

当前的各类大语言模型（LLM）智能体架构通常在固定的边界处理模型委派问题：要么在生成开始前静态进行（使用路由器选择模型），要么在响应完成后事后进行（使用验证器评分并可能触发重试）。本文作者 Nadeem Shaikh 引入了一种创新的生成内部委派范式，允许智能体在其自身的推理过程中动态识别出自身成功的可能性较低，从而将控制权转移给更强大的模型。

该研究将这一过程表述为基于学得的能力后验分布的贝叶斯最优停止问题。其主要贡献包括：推导出闭式的短视升级阈值（myopic escalation threshold），通过动态规划将最优策略表征为随时间变化的阈值；在理论上证明了以切诺夫信息率（Chernoff-information rate）衡量的预言机信念的指数级分离，建立由后验校准控制的遗憾界（regret bound），并证明了有限样本保证（遗憾随 \(n\) 以 \(1/\sqrt{n}\) 的速率衰减）；此外，通过受控仿真研究以及在代码级联（Qwen2.5-Coder 1.5B -> 7B 跨 257 个 MBPP 任务）上的真实模型验证，证实了理论预测。

Knowing When to Ask for Help: Bayesian Self-Escalation in Hierarchical LLM Agents

Summary

Current Large Language Model (LLM) agent architectures typically handle model delegation at rigid boundaries: either statically before generation begins (using a router to select a model) or post-hoc after a response is completed (using a verifier to score and potentially trigger a retry).

This paper introduces a novel intra-generation delegation paradigm, where an agent dynamically recognizes during its own reasoning process when it is unlikely to succeed, subsequently transferring control to a stronger model. The author, Nadeem Shaikh, formulates this as a Bayesian optimal-stopping problem over a learned competence posterior.

Key contributions include: * Closed-Form Derivation: Deriving the myopic escalation threshold and characterizing the optimal policy via dynamic programming as a time-varying threshold. * Theoretical Guarantees: Proving exponential separation of the oracle belief at the Chernoff-information rate, establishing a regret bound governed by posterior calibration, and proving a finite-sample guarantee where regret decays at a \(1/\sqrt{n}\) rate. * Empirical Validation: Confirming theoretical predictions via controlled simulations and validating real-model performance on a code cascade (Qwen2.5-Coder 1.5B -> 7B across 257 MBPP tasks).

当前的大语言模型（LLM）智能体架构通常在刚性边界上处理模型委派：要么在生成开始之前静态进行（使用路由器选择模型），要么在响应完成之后事后进行（使用验证器评分并可能触发重试）。

本文引入了一种新颖的生成内部委派范式（intra-generation delegation paradigm），其中智能体在其自身的推理过程中动态识别何时不太可能成功，随后将控制权转移给更强的模型。作者 Nadeem Shaikh 将其建模为基于学得能力后验分布的贝叶斯最优停止问题（Bayesian optimal-stopping problem）。

主要贡献包括： * 闭式推导（Closed-Form Derivation）： 推导了短视升级阈值（myopic escalation threshold），并通过动态规划将最优策略表征为时变阈值。 * 理论保证（Theoretical Guarantees）： 证明了以切诺夫信息率（Chernoff-information rate）为特征的预言机信念的指数分离，建立了由后验校准控制的遗憾界（regret bound），并证明了遗憾以 \(1/\sqrt{n}\) 速率衰减的有限样本保证。 * 实证验证（Empirical Validation）： 通过受控仿真确认了理论预测，并在代码级联（Qwen2.5-Coder 1.5B -> 7B 跨 257 个 MBPP 任务）上验证了真实模型的性能。

Document Metadata

文档元数据

元数据字段	详情
arXiv 标识符	arXiv:2608.24087 [cs.LG]
主要主题	机器学习 (cs.LG), 人工智能 (cs.AI), 统计学 (stat.ML)
作者	Nadeem Shaikh
提交日期	2026年8月25日
资源与代码	GitHub 仓库 | Zenodo 记录
全文链接	查看 PDF | HTML 版本 | TeX 源码
许可证	知识共享署名 4.0

Abstract

Current LLM agent systems decide delegation before reasoning begins (a router picks a model) or after a response is complete (a verifier scores it and may retry). We study a third regime: an agent that recognises, during its own reasoning, that it is unlikely to succeed and transfers control to a stronger model.

We formulate intra-generation delegation as a Bayesian optimal-stopping problem over a learned competence posterior — an online estimate of the agent's eventual task success whose sufficient statistics are learned from labelled trajectories, not read off raw entropy. We derive the myopic escalation threshold in closed form, characterise the optimal policy via dynamic programming, and prove that the optimal policy is a time-varying threshold with no shape assumption on the raw signal.

We further prove exponential separation of the oracle belief at the Chernoff-information rate of the signal, a regret bound governed by the calibration of the posterior, and a finite-sample guarantee: with \(n\) labelled calibration trajectories the deployed plug-in policy's regret decays as \(1/\sqrt{n}\). A controlled simulation study confirms each prediction of the theory, including the predicted \(1/\sqrt{n}\) rate.

We additionally report a real-model validation on a Qwen2.5-Coder 1.5B -> 7B code cascade (MBPP, 257 tasks), confirming two of three pre-registered predictions: the escalation frontier dominates post-hoc routing at equal cost, and the cumulative competence belief's discrimination rises over generation.

当前的 LLM 智能体系统在推理开始前（路由器选择模型）或响应完成后（验证器对其评分并可能重试）决定委派。我们研究了第三种机制：智能体在自身的推理过程中认识到自己不太可能成功，并将控制权转移给更强的模型。

我们将生成内部委派建模为基于学得的能力后验分布的贝叶斯最优停止问题——这是对智能体最终任务成功率的在线估计，其充分统计量是从带标签的轨迹中学习得到的，而不是直接读取原始熵。我们推导了闭式的短视升级阈值，通过动态规划对最优策略进行了表征，并证明了最优策略是一个随时间变化的阈值，对原始信号没有任何形状假设。

我们进一步证明了以信号的切诺夫信息率衡量的预言机信念的指数分离，由后验校准控制的遗憾界，以及有限样本保证：利用 \(n\) 条带标签的校准轨迹，部署的插件策略的遗憾以 \(1/\sqrt{n}\) 的速率衰减。受控仿真研究证实了理论的每一个预测，包括预测的 \(1/\sqrt{n}\) 速率。

我们此外报告了在 Qwen2.5-Coder 1.5B -> 7B 代码级联（MBPP，257 个任务）上的真实模型验证，证实了三个预注册预测中的两个：在同等成本下，升级前沿支配了事后路由；且累积能力信念的区分度在生成过程中不断上升。

For more information, citations, or bibliographic tools, visit the official arXiv record.

有关更多信息、引用或文献计量工具，请访问官方 arXiv 记录。