一种策略，适应任意预算：通过强化学习内化预算感知搜索

文章背景与核心概要

随着大语言模型（LLM）与外部工具交互的深入发展，基于强化学习的搜索智能体取得了显著成功。然而，现有的方法通常是在固定的计算预算下进行训练的。因此，当部署约束条件发生动态变化时，这些模型往往难以适应。为了克服这一局限性，本文作者推出了 AnySearch 这一新颖框架，它能够使单一的 LLM 策略在任意约束条件下执行预算感知的搜索。

该框架通过两阶段的训练方法运行：首先是课程强化学习阶段，通过显式的预算状态注入和结构化的推理提示，训练智能体在呈线性衰减的预算下高效分配资源；其次是自主运行阶段，移除显式的脚手架，允许智能体在与真实世界推理环境相匹配的自适应采样预算约束下自主运行。优化过程由一个组合奖励机制驱动，该机制通过绝对和相对信号结合了答案准确性与预算效率。此外，自适应权重机制能够动态放大高准确率查询的效率信号，同时减弱低准确率查询的效率信号。

在七个通用和多跳问答（QA）基准测试上进行的广泛评估表明，AnySearch 在所有预算规模上均优于现有的基线方法，能够无缝泛化至训练范围之外的未见约束，并在不引入过多 Token 开销的情况下实现卓越的工具生产力。

Authors: Xiaowei Sun, Jin Li, Yili Hong, Yikun Fu, Yanghua Xiao
Category: Artificial Intelligence (cs.AI)
arXiv Identifier: [arXiv:2609.00813 [cs.AI]]
Submission Date: 1 September 2026
Links: View PDF | TeX Source | GitHub Repository

Authors: Xiaowei Sun, Jin Li, Yili Hong, Yikun Fu, Yanghua Xiao
Category: Artificial Intelligence (cs.AI)
arXiv Identifier: [arXiv:2609.00813 [cs.AI]]
Submission Date: 1 September 2026
Links: View PDF | TeX Source | GitHub Repository

Summary

尽管强化学习成功地赋能基于大语言模型（LLM）的搜索智能体去与外部工具交互，但现有方法通常在固定的计算预算下进行训练。因此，当部署约束发生动态变化时，这些模型往往难以适应。

While reinforcement learning has successfully empowered Large Language Model (LLM)-based search agents to interact with external tools, existing methods typically train under fixed computational budgets. Consequently, these models struggle to adapt when deployment constraints change dynamically.

为了克服这一局限性，作者引入了 AnySearch，这是一个新颖的框架，它使单一的 LLM 策略能够在任意约束条件下执行预算感知的搜索。该框架通过两阶段的训练方法运行： 1. 课程强化学习阶段（Curriculum Reinforcement Learning Phase）： 使用显式的预算状态注入和结构化推理提示来训练智能体，使其在呈线性衰减的预算下高效分配资源。 2. 自主运行阶段（Autonomous Operation Phase）： 移除显式脚手架，允许智能体在与现实世界推理环境相匹配的自适应采样预算约束下自主运行。

To overcome this limitation, the authors introduce AnySearch, a novel framework that enables a single LLM policy to execute budget-aware search under any arbitrary constraint. The framework operates through a two-phase training methodology: 1. Curriculum Reinforcement Learning Phase: Trains the agent using explicit budget-state injection and structured reasoning prompts to allocate resources efficiently under linearly decaying budgets. 2. Autonomous Operation Phase: Removes the explicit scaffold, allowing the agent to operate autonomously under adaptively sampled budget constraints that match real-world inference environments.

优化过程由一个组合奖励函数驱动，该函数通过绝对和相对信号结合了答案准确率与预算效率。此外，自适应权重机制能够动态放大高准确率查询的效率信号，并减弱低准确率查询的效率信号。

Optimization is driven by a composite reward function combining answer accuracy and budget efficiency via absolute and relative signals. Furthermore, an adaptive weight mechanism dynamically amplifies the efficiency signal for high-accuracy queries while attenuating it for low-accuracy queries.

在七个通用和多跳问答（QA）基准测试上的广泛评估表明，AnySearch 在所有预算规模上都优于现有的基线方法，能够无缝泛化至训练范围之外的未见约束，并在不引入过多 Token 开销的前提下实现卓越的工具生产力。

Extensive evaluations across seven general and multi-hop Question Answering (QA) benchmarks demonstrate that AnySearch outperforms existing baselines across all budget scales, generalizes seamlessly to unseen constraints beyond the training range, and achieves superior tool productivity without introducing excessive token overhead.