跳转至

接口引发的轨迹审查：揭秘模型 Agent 评测中的隐性静默失败

Interface-Induced Trajectory Censoring

arXiv ID: arXiv:2609.03966 [cs.AI]
Subjects: Artificial Intelligence (cs.AI); Machine Learning (cs.LG)
Authors: Wenbo Wang, Di Sang
Submitted: 3 Sep 2026; Last revised: 21 Oct 2026
Resources & Code: GitHub Repository

文章背景与核心概要

在当今大语言模型 (Large Language Model, LLM) 与 AI 智能体 (AI Agent) 飞速发展的浪潮中，工具调用能力已成为衡量模型能否胜任现实复杂任务的关键试金石。然而，来自学术界的最新研究揭示了一个此前被广泛忽视的评测黑洞：许多在基准测试中得分惨淡的模型，并非其自身推理逻辑存在缺陷，而是在底层推理服务栈的接口环节遭遇了“静默审查”，导致生成的有效工具调用轨迹在送达下游环境前便被无声过滤或吞没。这种因适配器与对话模板格式脱节引发的“隐性静默失败”，使得各大评测榜单所反映的往往是工程接口的技术栈缺陷，而非模型真正的智能上限。本文不仅在主流评测框架（如 BFCL v4 和 tau-bench）上深度剖析了这一交互缺陷，还开源了一段仅有 98 行的轻量级预检代码，为整肃智能体评测基准与强化学习训练闭环提供了至关重要的工程准绳。

📋 内容概要

Summary

由 Wenbo Wang 与 Di Sang 撰写的学术论文《接口引发的轨迹审查》 (Interface-Induced Trajectory Censoring) ，深入剖析了当前 AI 智能体评测体系中存在的一个致命盲区：在许多测试场景下，大语言模型本身明明已经成功生成了合规有效的工具调用指令，但在被送往外部环境或下游系统执行之前，底层的模型推理服务栈接口却悄无声息地将这些调用轨迹直接“审查”过滤或丢弃了。其直接后果是，人们在各大公开榜单或评测系统中所观测到的工具调用成功率，反映的往往只是“模型-接口技术栈”在工程适配上的偶发瑕疵，而非模型真实的智能与调用上限。研究人员在多个业界权威基准框架（例如 Berkeley 函数调用基准 BFCL v4 和 tau-bench）以及多种规模的主流模型（如 Qwen2.5-Coder 和 Llama-3.1 系列）上充分证实了这一反常现象，指出单纯由于服务适配器 (Adapter) 或对话模板 (Chat Template) 的细微格式冲突，便足以在模型核心运行完美无暇的前提下致使工具执行彻底崩溃。为了帮助开发者彻底避开这一工程暗礁，作者团队还随论文公开发布了一段仅有 98 行的轻量级预检代码 (Preflight Check) ，用于在启动评测前精准捕获并排查这类致命的静默失败。

The paper "Interface-Induced Trajectory Censoring" by Wenbo Wang and Di Sang explores a critical blind spot in AI agent evaluations: models may successfully generate valid tool calls, but the serving stack's interface secretly censors or drops these trajectories before downstream systems ever see them. Consequently, the observed tool-call rate reflects the quirks of the model-interface stack rather than the model's true capabilities. The authors demonstrate this phenomenon across multiple frameworks (such as BFCL v4 and tau-bench) and model scales (like Qwen2.5-Coder and Llama-3.1), showing how specific adapter or chat template mismatches completely break tool execution even when the core model is functioning perfectly. They also release a 98-line preflight check to catch these silent failures.

📌 论文元数据

Paper Metadata

  • arXiv 编号 (arXiv ID)： arXiv:2609.03966 [cs.AI]
  • 研究领域 (Subjects)： 人工智能 (cs.AI)；机器学习 (cs.LG)
  • 论文作者 (Authors)： Wenbo Wang, Di Sang
  • 版本提交记录 (Submission History)：
  • [v1] 2026 年 9 月 3 日 (周四)
  • [v2] 2026 年 10 月 21 日 (周三) (当前版本)
  • 相关资源与代码 (Resources & Code)： GitHub 仓库
  • arXiv ID: arXiv:2609.03966 [cs.AI]
  • Subjects: Artificial Intelligence (cs.AI); Machine Learning (cs.LG)
  • Authors: Wenbo Wang, Di Sang
  • Submission History:
  • [v1] Thu, 3 Sep 2026
  • [v2] Wed, 21 Oct 2026 (this version)
  • Resources & Code: GitHub Repository

🔬 论文摘要

Abstract

在当前的智能体基准评测中，业界所依据的“工具调用率”指标通常直接取自底层推理服务栈的解析日志。然而，这个统计数字极可能暗藏严重假象——哪怕模型自身已经稳定生成了格式完全合规的工具调用，评测得到的成功率依然可能直接显示为零；这是因为位于中间层的服务接口赶在任何下游系统接收之前，就已经悄悄把这段交互轨迹“审查”过滤并无声吞没了。

Agent evaluations report a tool-call rate read off the serving stack. That number can be zero while the model is emitting well-formed calls: the interface censors the trajectory before anything downstream sees it.

在伯克利函数调用基准 (BFCL v4) 原生提供的数据集、执行器和评分器上，在严格固定模型权重、测试用例、解码参数及随机种子的前提下，仅仅换掉推理服务适配器 (Adapter) ，同一个模型的得分便在 0.00 与 0.96 / 0.19 之间上演极端反差。针对“对话模板 (Chat Template) ”与“解析器 (Parser) ”开展的 2x2 因子实验精确揪出了问题的根源：两个组件各自的独立主效应完全为零，所有的偏差均纯粹源自二者协同交互时的契约脱节——这意味着两端组件单独拿出来看都毫无缺陷，但只要接口契约未能对齐，单方面修复任何一边都起不到哪怕一丝作用。在交互式基准 tau-bench 的 115 项真实零售任务测试中，仅仅更换适配器，服务端成功解析出的工具调用次数便直接从 0 激增至 636 次，能够真正走到工具执行环节的任务数也从 0 暴增至 103 项。我们的探测工具在参数量跨度达 21 倍的 Qwen2.5-Coder 系列模型上完整复现了这一“漏斗效应”：在所有参数规模下，服务端向上呈报的解析成功率统统是 0/100；然而实际上，模型自身吐出的合规有效调用早在 32B 规模下就攀升到了 80/100（在与仲裁黄金标准校对后约为 72）。而在接口契约规范完全匹配的测试外壳下，跨越同等模型尺度区间，隐性静默失败的发生数始终维持在极低的 0 到 2 之间（这一理论预测在实验跑通前就已预先提交并冻结在开源代码库中）。此外，Llama-3.1-8B 原本有 23% 的概率会将任务函数自身误调用为工具，但在开启一个简单的 strict: true 严格模式标志后，该失误率便瞬间归零。

On BFCL v4's own data, executor and scorer, holding weights, cases, decoding and seeds fixed and changing only the serving adapter, the same model scores 0.00 or 0.96 / 0.19. A 2x2 over chat template and parser locates the effect exactly: both main effects are exactly zero and all of it sits in the interaction -- no component is defective, and repairing one side of the contract buys precisely nothing. On tau-bench's 115 interactive retail tasks the same swap moves server-parsed calls from 0 to 636 and tasks reaching any tool execution from 0 to 103. Our probe reproduces the funnel across a 21x scale range of Qwen2.5-Coder: the server parses 0/100 at every size while well-formed emitted calls rise to 80/100 at 32B (~72 after calibration against an adjudicated gold standard). Under a matched envelope, across a comparable scale span, the silent fraction stays at 0-2, a prediction committed to the repository before the run. Llama-3.1-8B's 23% rate of calling the task function itself as a tool falls to 0 under one strict:true flag.

更令人担忧的是，这种接口不匹配的毒害并不局限于评测阶段，它已深深渗透至智能体的强化学习训练循环之中，且其破坏性表现出显著的模型尺度依赖性：在强化学习框架 verl 的 AgentLoop 中，7B 规模的模型在 115 次推演中明明有 45 次输出了完备的工具调用，却遭遇了“0 次被系统接收、0 次进入实际执行、0 次成功返回环境观测 (Observation) ”的惨烈全挂局面；而在 1.5B 规模下，由于较小模型自身生成调用的能力本就薄弱，0 分表现属于“多因超定”的双重失效，因此论文对这两种参数规模进行了独立汇报。而在纯评测阶段，尽管修复适配器成功使底层调用机制重回正轨（解析量由 0 恢复至 84，救回 9 次有效交互），任务通过率从 53% 提升至 62%，但该增益在统计学上尚未达到显著差异 (n.s.) 。针对这些普遍存在的工程暗礁，作者团队随论文开源发布了一段仅有 98 行的轻量级预检代码，能够百分之百捕获文中所揭示的各类静默失败。这项研究给全行业敲响了警钟：我们在基准测试中记录到的工具调用率，绝非大语言模型单方面的智商度量衡，而是承载它的“模型-接口技术栈”在工程契约层面共同作用的系统产物。

The mismatch reaches inside the training loop, and its consequence is scale-dependent: in verl's AgentLoop at 7B, 45 of 115 generations carry a complete call; 0 are accepted, 0 execute, 0 return an observation. At 1.5B the same zero is over-determined, so we report the two scales separately. At evaluation time, repairing the adapter restores the mechanism but not a significant outcome gain: parsing 0->84, rescues 0->9, pass rate 53->62 (n.s.). We release a 98-line preflight check that catches every silent failure here. The observed tool-call rate is not a property of the model alone; it is a property of the model-interface stack that measures it.