跳转至

生产环境中的多臂老虎机：推理时超参数优化

文章背景与核心概要

许多生产系统无法通过离线验证集来评估配置，只能将其应用到实时请求中并通过观察带噪声的反馈来做出评估。现代智能体（Agent）系统便是其中的典型代表，它们在推理时面临模型选择、检索深度、提示词策略以及解码温度等众多选择，但往往缺乏具有代表性的验证数据。

为了解决这一难题，本文将该场景正式定义为在线超参数优化（Online Hyperparameter Optimization, OHPO），并将其转化为混合与条件搜索空间下的无限多臂老虎机（infinitely many-armed bandit）问题。作者推出了 IMABO 这一通用框架，它能够将任意用于在已采样配置中进行选择的老虎机策略，与任意用于提出新配置的预言机（oracle）完美结合。

概览与摘要

arXiv: 2609.01335 [cs.LG]
作者: Louis Abraham, Tuan-Anh Nguyen, Nicolas Devatine
提交时间: 2026年9月1日
研究方向: 机器学习 (cs.LG); 人工智能 (cs.AI)
全文链接: 查看 PDF | TeX 源码 | HTML 版本
license icon 查看许可协议

摘要

许多生产系统只能通过在实时请求上使用某种配置并观察噪声反馈来对其进行评估。现代智能体系统就是一个突出的例子，它们在推理时面临诸如模型选择、检索深度、提示词策略和解码温度等选择，然而通常却缺乏具有代表性的验证数据。

Many production systems can assess a configuration only by using it on live requests and observing noisy feedback. Modern agentic systems are a prominent example, with inference-time choices such as model selection, retrieval depth, prompting strategy, and decoding temperature, yet often with no representative validation data.

本文将此场景正式定义为在线超参数优化（Online Hyperparameter Optimization, OHPO），并将其构建为混合与条件搜索空间上的无限多臂老虎机问题。作者引入了 IMABO 这一通用框架，它结合了用于在已采样配置中进行选择的任意老虎机策略，以及用于提出新配置的任意预言机。

This paper formalizes this setting as Online Hyperparameter Optimization (OHPO) and casts it as an infinitely many-armed bandit over mixed and conditional search spaces. The authors introduce IMABO, a general framework that combines any bandit policy for choosing among already sampled configurations with any oracle for proposing new ones.

核心贡献：

  • IMOSS 算法： 实例化为 IMOSS，这是一种无需重启的任意时间（anytime）策略，其活动集（active set）随 \(t^{\beta}\) 增长。
  • 遗憾界（Regret Bound）： 证明了其期望累积百分位数遗憾界（cumulative quantile-regret bound）为 \(O(p_\rho^{-1/\beta} + T^{(1+\beta)/2})\)，其中 \(\beta\in(0,1)\) 控制活动集的增长，而 \(p_\rho\) 则对所提出的配置落入搜索空间前 \(\rho\) 分位数的概率给出了下界。
  • 实用的预言机： 将 IMOSS 与三种实用的预言机相结合：
  • 基于树的帕zen估计器（Tree-structured Parzen Estimator）
  • 由坐标老虎机驱动的现行状态变异预言机（incumbent-mutation oracle）
  • 预训练的表格基础模型
    (这三种预言机均优于均匀随机预言机基线。)
  • 实证性能： 在从调整经典机器学习模型到配置基于大语言模型的智能体等各种 OHPO 设置中，IMABO 均取得了最低的累积遗憾。

Key Contributions:

  • IMOSS Algorithm: Instantiated with IMOSS, a restart-free anytime policy whose active set grows as \(t^{\beta}\).
  • Regret Bound: Proves an expected cumulative quantile-regret bound of \(O(p_\rho^{-1/\beta} + T^{(1+\beta)/2})\), where \(\beta\in(0,1)\) controls active-set growth and \(p_\rho\) lower-bounds the probability that a proposed configuration falls in the top-\(\rho\) fraction of the search space.
  • Practical Oracles: Combines IMOSS with three practical oracles:
  • A Tree-structured Parzen Estimator
  • An incumbent-mutation oracle driven by a per-coordinate bandit
  • A pretrained tabular foundation model
    (All three improve over the uniform random oracle baseline.)
  • Empirical Performance: IMABO obtains the lowest cumulative regret across diverse OHPO settings, ranging from tuning classical machine-learning models to configuring LLM-based agents.