跳转至

超越单轮置信度：LLM 智能体的轨迹自适应不确定性量化

文章背景与核心概要

传统的大语言模型（LLM）不确定性量化（UQ）方法通常局限于单轮输出，即仅为单一生成的答案分配置信度分数。然而，LLM 智能体是在交互式轨迹中运行的，涉及提出澄清问题、调用工具、更新状态以及做出中间决策，这些环节中的错误会随时间推移而累积。

本文探讨了三种主流的单轮 UQ 方法在多轮智能体场景下的迁移效果。研究人员在四个多轮工具使用数据集（BFCL-v4 和 \(\tau^2\)-bench）上评估了五种 LLM，涵盖了基于动作令牌概率的白盒评分器、基于重采样轨迹的黑盒一致性评分器以及基于模型自我评估的反射式评分器。研究发现，单轮 UQ 方法在轨迹层面的表现参差不齐，其中黑盒自一致性方法表现最为稳健，而反射式评分则在成本效益上具有显著优势。

📋 摘要

传统的大语言模型（LLM）不确定性量化（UQ）方法通常在单轮输出上进行评估，将置信度分数附加到单个生成的答案上。然而，LLM 智能体是在交互式轨迹中运行的，模型在这些轨迹中提出澄清问题、调用工具、更新状态并做出中间决策，而这些决策中的错误会随时间推移而累积。

Traditional uncertainty quantification (UQ) methods for large language models (LLMs) are typically evaluated on single-turn outputs, attaching confidence scores to a single generated answer. However, LLM agents operate over interactive trajectories where models ask clarifying questions, call tools, update states, and make intermediate decisions whose errors propagate over time.

本文研究了三种主要的单轮 UQ 方法在多轮智能体设置中的迁移效果，使用了五个 LLM 在四个多轮工具使用数据集（BFCL-v4 和 \(\tau^2\)-bench）上进行了测试。作者评估了： 1. 基于动作令牌概率的白盒评分器。 2. 基于重采样轨迹的黑盒一致性评分器。 3. 基于模型自我评估的反射式评分器。

This paper investigates how well three major families of single-turn UQ methods transfer to the multi-turn agent setting, using five LLMs across four multi-turn tool-use datasets (BFCL-v4 and \(\tau^2\)-bench). The authors evaluate: 1. White-box scorers based on action-token probabilities. 2. Black-box consistency scorers based on resampled trajectories. 3. Reflexive scorers based on model self-assessment.

主要发现

  • 迁移效果不均衡： 虽然 UQ 迁移可能很有用，但其成功与否在很大程度上取决于所选择的方法论。
  • 令牌概率分数： 对跨不同轮次使用的聚合器选择极其敏感。
  • 反射式分数： 在大多数评估场景中，它是最强大且最具成本效益的基准。
  • 黑盒自一致性： 成为整体上最强大的 UQ 家族，其中“轨迹等价性”和“动作集一致性”在其变体中排名最高。

Key Findings

  • Transfer is uneven: While UQ transfer can be useful, its success depends heavily on the chosen methodology.
  • Token-probability scores are exceptionally sensitive to the choice of aggregator used across different turns.
  • Reflexive scores serve as the strongest, most cost-effective baseline in most evaluated scenarios.
  • Black-box self-consistency emerges as the strongest UQ family overall, with trajectory-equivalence and action-set consistency ranking highest among its variants.

最终，这项研究强调，为单轮生成构建的 UQ 方法必须在轨迹层面进行重新评估，并密切关注一致性度量、轮次聚合器和计算预算。

Ultimately, the study underscores that UQ methods built for single-turn generations must be re-evaluated at the trajectory level, paying close attention to consistency measures, turn aggregators, and computational budgets.

🔗 链接与资源