文章背景与核心概要
计算机操作智能体（Computer-use agents）在图形用户界面（GUI）中执行复杂任务的能力正在不断增强，然而它们的每一次操作经验通常都是短暂的。在单次运行（rollout）中所获取的程序性知识，极少能够在未来的任务中得到系统性的保留、精炼或重复利用。
本文引入了一种在线技能演化框架，能够将交互轨迹与评估器反馈转化为一个持久化的、带版本控制的可复用程序库。通过针对冻结的库快照执行迭代，并在不改变模型参数的情况下应用基于证据的更新，该系统在多个 OSWorld 应用领域中展现出明显优于标准配置匹配的空库对照组的性能。
从交互轨迹到持久化技能：计算机操作智能体的在线演化
作者： Longtao Hu, Xiao Liang, Linchao Zhu
提交时间： 2026年9月4日
主要学科： 人工智能 (cs.AI)
arXiv ID： 2609.04869
DOI： 10.48550/arXiv.2609.04869
代码仓库： GitHub - LongtaoHu/Skill-Evo4GUI
执行摘要
Computer-use agents are increasingly capable of executing complex tasks within graphical user interfaces (GUIs), yet their operational experiences typically remain transient. Procedural knowledge acquired during a single rollout is rarely retained, refined, or reused systematically in future tasks.
This paper introduces an online skill-evolution framework that converts interaction trajectories and evaluator feedback into a persistent, versioned library of reusable procedures. By executing iterations against a frozen library snapshot and applying evidence-guided updates without altering model parameters, the proposed system demonstrates marked improvements over standard configuration-matched empty-library controls across multiple OSWorld application domains.
计算机操作智能体在图形用户界面（GUI）中执行日益复杂的任务的能力不断增强，但其交互经验通常是短暂的：从单次运行中获得的程序性知识没有在后续任务中得到系统性的保留、精炼和复用。
本文介绍了一种在线技能演化框架，可将交互轨迹和评估器反馈转换为可复用程序的可持久化、版本化库。每次迭代针对冻结的库快照执行，并且在不改变模型参数的情况下，基于证据的技能更新可在后续迭代中生效。我们在相同的固定动作生成与 GUI 接地技术栈、任务集以及迭代周期下，将完整的演化库系统与配置匹配的空库对照组在四个 OSWorld 应用域中进行了对比。
摘要
Computer-use agents can execute increasingly complex tasks in graphical interfaces, but their interaction experience is typically transient: procedural knowledge acquired from one rollout is not systematically retained, refined, and reused in later tasks. Existing skill libraries provide external procedural knowledge, yet their incremental value over the same agent operating without skills, as well as their longitudinal dynamics under repeated interaction, remain insufficiently characterized.
We present an online skill-evolution framework that converts interaction trajectories and evaluator feedback into a persistent, versioned library of reusable procedures. Each iteration executes against a frozen library snapshot, and evidence-guided skill updates become available in subsequent iterations without changing model parameters. We compare the full evolving-library system with a configuration-matched empty-library control across four OSWorld application domains under the same fixed action-generation and GUI-grounding stack, task sets, and iteration horizons.
Following a five-iteration empty-library warm-up, Full attains a higher post-warm-up mean evaluator score in all four observed domain runs, with mean differences ranging from 5.7 to 18.6 percentage points and domain-dependent temporal stability. In GIMP, provenance-aware analysis reveals retrieval across task-of-origin boundaries and revision churn, where repeated accepted edits fail to recover the originating task. These findings characterize evolving skill libraries as auditable, shared procedural memory that can improve a fixed computer-use stack, while showing that their benefits are conditional and repeated revision does not guarantee recovery.
计算机操作智能体能够在图形界面中执行日益复杂的任务，但其交互经验通常是短暂的：从单次运行中获得的程序性知识无法在后续任务中得到系统性的保留、精炼和复用。现有的技能库提供了外部程序性知识，然而，与无技能的同类智能体相比，其增量价值以及在重复交互下的长期动态特性仍未得到充分的表征。
我们提出了一种在线技能演化框架，该框架将交互轨迹和评估器反馈转化为可复用程序的可持久化、版本化库。每次迭代针对冻结的库快照执行，基于证据的技能更新可在后续迭代中使用，且无需更改模型参数。我们在相同的固定动作生成和 GUI 接地技术栈、任务集以及迭代周期下，将完整的演化库系统与配置匹配的空库对照组在四个 OSWorld 应用域中进行了对比。
经过五次迭代的空库预热后，“完整版（Full）”系统在所有四个观测到的应用域运行中均获得了更高的预热后平均评估器得分，平均分差在 5.7 到 18.6 个百分点之间，并表现出取决于具体领域的时序稳定性。在 GIMP 中，基于血缘关系的分析揭示了跨原任务边界的检索以及“修订阵痛（revision churn）”现象——即重复接受的修改未能恢复原任务。这些发现将演化技能库表征为可审计的、共享的程序性记忆，能够改善固定的计算机操作技术栈，同时也表明其收益是有条件的，且重复修订并不保证能够恢复性能。
核心亮点与发现
- 持久化程序性记忆： 该框架成功弥合了瞬时运行与持久化技能之间的鸿沟，使智能体能够在不修改底层模型权重的情况下保留并基于过去的经验进行构建。
- 性能提升： 在四个 OSWorld 领域中，完整的演化技能库系统（“Full”）在经历预热阶段后，持续优于配置匹配的空库基线，平均得分提升在 5.7 到 18.6 个百分点之间。
- 细致的时序动态： 对 GIMP 领域的详细分析揭示了跨原任务边界的复杂检索行为，以及修订阵痛现象——即重复接受的编辑并不总能恢复或优化原始任务的性能。