跳转至

Bellman 语言模型：破解大模型智能体的循环重复决策困境

Bellman Language Models: Solving the Recurring Decisions of LLM Agents

arXiv ID: arXiv:2610.24871 [cs.AI, cs.CL, cs.LG, eess.SY]
Authors: Adarsh Vatsa, William Eiers
Submitted: October 17, 2026
DOI: 10.48550/arXiv.2610.24871
Project / Code: GitHub - adarsh-vatsa/dtd-preregistration

文章背景与核心概要

在当下的 AI 智能体 (AI Agent) 工作流中，大语言模型 (Large Language Model, LLM) 常常被派去执行诸如客服对话、系统维护或业务调度等边界明确的连续任务。令人啼笑皆非的是，智能体在这些流程中往往反复遭遇几乎一模一样的系统状态，却每次都要从头消耗昂贵的 Token 和推演时间重新推理“接下来该调用哪个工具”——这就像一位经验老到的司机每天走同一条通勤路线，却每次都要重新查一遍地图。为了根除这种由于重复决策带来的算力浪费与偶发幻觉，研究人员提出了 Bellman 语言模型 (Bellman Language Models, BLM)，创造性地践行“先离散化，再作决策”的哲学：先将历史轨迹解析为有限状态的马尔可夫决策过程 (Markov Decision Process, MDP) 并提前求解全局最优策略，让轻量控制器接管所有已知决策，仅在遭遇全新未知情境时才唤起大语言模型兜底。实验表明，该方案不仅让开源模型 Qwen3.8-27B 在电信测试中的成功率从 29% 飙升至 96%，还使顶尖模型 Claude Opus 5.5 减少了约 98% 的调用成本并无限逼近满分，为自主智能体迈向规模化工业落地提供了极具启发性的高能效范式。

📋 内容概要

📋 Summary

  • 作者 (Authors)： Adarsh Vatsa, William Eiers
  • 提交时间 (Submitted)： 2026 年 10 月 17 日
  • 学科领域 (Subjects)： 人工智能 (cs.AI)、计算与语言 (cs.CL)、机器学习 (cs.LG)、系统与控制 (eess.SY)
  • arXiv 编号 (arXiv ID)： arXiv:2610.24871
  • Authors: Adarsh Vatsa, William Eiers
  • Submitted: October 17, 2026
  • Subjects: Artificial Intelligence (cs.AI), Computation and Language (cs.CL), Machine Learning (cs.LG), Systems and Control (eess.SY)
  • arXiv ID: arXiv:2610.24871

核心洞察

Core Insight

在边界明确的智能体工作流中，大语言模型的决策空间往往迅速饱和——这意味着智能体会频繁地重复遭遇完全相同的状态，而极少探索到真正的新状态。然而，现有的大语言模型并未将这些循环情境视作运筹优化问题，而是机械地在每一轮交互中仅仅依据上下文从头重新推导决策。

In bounded agentic workflows, LLM decision spaces frequently saturate—meaning agents encounter the same states repeatedly rather than discovering new ones. Instead of treating these as optimization problems, LLMs typically re-derive decisions from context on every turn.

解决方案：“先离散化，再作决策”

Proposed Solution: "Discretize, Then Decide"

作者团队提出了 Bellman 语言模型 (Bellman Language Models, BLM)，其名称源自运筹学先驱 Richard Bellman 著名的动态规划最优化方程。该方案的执行流程包含以下四个关键环节：

The authors introduce Bellman Language Models (BLMs), named after Richard Bellman’s optimization equation. The workflow:

  1. 离散化 (Discretizes)： 将历史对话日志或智能体的探索轨迹解析为有限的离散状态集合；
  2. 状态估计 (Estimates)： 持续估算转移结果概率与动作转移成本，直至数值收敛；
  3. 策略优化 (Optimizes)： 对由此生成的马尔可夫决策过程 (Markov Decision Process, MDP) 求解全局最优策略；
  4. 轻量控制 (Controls)： 运行时通过极速轻量控制器执行，对已知状态直接供给固定的确定性动作（如预设工具调用或模板化回复），只有在遭遇前所未见的未知状态时，才平滑回退至大语言模型进行推演。
  1. Discretizes: Parses conversation logs or agent runs into discrete states.
  2. Estimates: Computes outcome probabilities and move costs until convergence.
  3. Optimizes: Solves the resulting Markov Decision Process (MDP).
  4. Controls: Executes via a lightweight controller that supplies fixed moves (e.g., tool calls or templated replies) for known states, falling back to the LLM only for unseen states.

📊 关键实验结果

📊 Key Experimental Results

  • \(\tau^2\)-bench (电信客服基准测试)：
  • 仅依靠纯轻量控制器（完全不调用大模型），即可成功解决 79% 的任务；
  • 将开源模型 Qwen3.8-27B 作为 BLM 架构底座运行时，其任务成功率从 29% 飞跃至 96%，同时减少了 93% 的模型调用量；
  • 对于顶尖闭源模型 Claude Opus 5.5，以 BLM 模式运行可将单任务的模型调用次数和开销削减约 98%，且成功解决的任务数额外增加了 2 个（达到近乎满分的表现）。
  • InventoryBench (库存管理基准测试)： 经由该算法求解出的固定策略，在完全不搭载底层大模型的情况下，性能依然超越了此前所有公开发表的研究方法。
  • 技术局限性： 如果任务的核心瓶颈在于开放式内容生成而非动作离散抉择（例如定位并修复 SymPy 中的复杂代数逻辑缺陷），由于几乎无法在事前固化决策路径，BLM 架构带来的优化收益就会受到限制。
  • \(\tau^2\)-bench (Telecom):
  • A pure controller (no model) successfully solves 79% of tasks.
  • Using the open-source model Qwen3.8-27B as a BLM raises its performance from 29% to 96% while utilizing 93% fewer model calls.
  • For Claude Opus 5.5, running as a BLM cuts model calls and costs per task by about 98% while improving task resolution by 2 tasks (reaching near-perfect scores).
  • InventoryBench: The solved policy without an underlying model outperforms all previously published methods.
  • Limitations: In tasks where the primary bottleneck is content generation rather than move selection (such as resolving SymPy issues), few decisions can be resolved in advance, limiting the utility of BLMs.

🔗 相关链接与资源