跳转至

更智能的验证，更深度的进化：通过行为感知验证实现高效的智能体框架演进

文章背景与核心概要

智能体框架（Agent Harness）决定了语言模型智能体如何调用指令、工具及运行时组件。然而，针对这些框架的自动化适配与优化通常需要高昂的验证成本。传统的“提出-验证”方法往往在固定的任务集上对所有候选方案进行评分，这种暴力搜索方式不仅在无关行为上浪费了大量的评估资源，还容易因聚合评分而掩盖关键的性能退化问题。

本文提出的 HarnessLens 是一个具备预算感知能力的自动化框架，旨在解决上述局限。HarnessLens 通过联合探索任务空间与用户可配置组件，直接从执行轨迹中推导候选修改方案，并利用“归因证据门控”（attributable-evidence gate）机制，仅在与行为相关的任务上对候选方案进行选择性验证。实验结果表明，该方法在三个智能体框架和四个基准测试中，以显著更低的评估预算实现了 7.6% 至 13.6% 的性能提升，证明了行为感知验证在受限预算下实现高效演进的有效性。

📝 总结

HarnessLens 是一个创新的、具备预算感知能力的框架，专为自动化智能体框架演进设计。传统的用于适配语言模型智能体指令、工具和运行时的“提出-验证”方法，通常会在固定的任务集上对每个候选方案进行评分。这种暴力方法在无关行为上浪费了评估资源，并导致聚合分数掩盖了关键的性能退化。

为了克服这些限制，HarnessLens 联合探索了任务空间和用户可配置组件，直接从执行轨迹中推导候选修改方案，并使用归因证据门控选择性地验证候选方案。在三个智能体框架和四个基准测试的评估中，HarnessLens 在显著减少现有基准方法所需评估预算的同时，大幅提升了留出集（held-out）的性能。

HarnessLens is an innovative, budget-aware framework designed for automated agent harness evolution. Traditional propose-and-verify methods for adapting language-model agent instructions, tools, and runtimes often score every candidate on a fixed task set. This brute-force approach wastes evaluation rollouts on unrelated behaviors and causes aggregate scores to obscure critical performance regressions.

To overcome these limitations, HarnessLens jointly explores the task space and user-configurable components, derives candidate modifications directly from execution trajectories, and selectively verifies candidates using an attributable-evidence gate. Across evaluation on three agent harnesses and four benchmarks, HarnessLens significantly improves held-out performance while requiring substantially fewer evaluation budgets than existing baseline methods.

📌 元数据

  • arXiv ID: arXiv:2608.27311 [cs.AI]
  • 提交日期: 2026年8月27日
  • 主要学科: 人工智能 (cs.AI)
  • 作者:
  • Jinghan Xu
  • Yikai Zhang
  • Aili Chen
  • Weiyuan Li
  • Jiaqing Liang
  • Deqing Yang
  • 代码仓库: GitHub - HarnessLens
  • arXiv ID: arXiv:2608.27311 [cs.AI]
  • Submitted On: August 27, 2026
  • Primary Subject: Artificial Intelligence (cs.AI)
  • Authors:
  • Jinghan Xu
  • Yikai Zhang
  • Aili Chen
  • Weiyuan Li
  • Jiaqing Liang
  • Deqing Yang
  • Code Repository: GitHub - HarnessLens

🔍 摘要

智能体框架决定了语言模型智能体如何使用指令、工具和运行时组件，但适配这些框架需要昂贵的验证成本。现有的“提出-验证”方法通常在固定的任务集上对每个候选方案进行评分，这不仅在无关行为上浪费了评估资源，还使得聚合评分掩盖了特定的性能退化。我们引入了 HarnessLens，这是一个用于自动化框架演进的预算感知框架。HarnessLens 联合探索任务空间和用户可配置组件，从执行轨迹中推导候选修改，并使用归因证据门控在行为相关任务上选择性地验证每个候选方案。在三个智能体框架和四个基准测试中，HarnessLens 将平均留出性能提高了 7.6-13.6%，同时消耗的评估预算远低于竞争基准。这些结果表明，具有显式归因的行为感知验证能够在受限的交互预算下实现更可靠、样本效率更高的框架演进。

Agent harnesses shape how language-model agents use instructions, tools, and runtime components, but adapting these harnesses requires costly verification. Existing propose-and-verify methods typically score every candidate on a fixed task set, wasting rollouts on unrelated behaviors and allowing aggregate scores to obscure specific regressions. We introduce HarnessLens, a budget-aware framework for automated harness evolution. HarnessLens jointly explores the task space and user-configurable components, derives candidate modifications from execution trajectories, and selectively verifies each candidate on behavior-relevant tasks using an attributable-evidence gate. Across three agent harnesses and four benchmarks, HarnessLens improves average held-out performance by 7.6-13.6% while consuming substantially less evaluation budget than competing baselines. These results demonstrate that behavior-aware verification with explicit attribution enables more reliable and sample-efficient harness evolution under constrained interaction budgets.

🔗 链接与资源