跳转至

文章背景与核心概要

小型语言模型（SLMs）在作为自主智能体时常常面临挑战，因为它们很难独立生成足够多的成功交互轨迹。为了解决这一局限性，本文作者提出了智能体记忆蒸馏（Agent Memory Distillation, AMD），这是一个无需训练的框架，它通过分层记忆系统将来自大型教师智能体（例如 GPT-5-mini）的结构化知识迁移到较小的学生智能体（4B–8B 参数）中。

AMD 基于成功的教师轨迹构建了三种互补的记忆类型：用于编码任务级策略的工作流记忆（Workflow Memory）、提供中等粒度具体行为示例的子任务记忆（Subtask Memory），以及捕获每个函数调用约定和常见陷阱的函数记忆（Function Memory）。其中，工作流和子任务记忆在任务开始时主动注入，而函数记忆则在工具调用出错时被动检索。

在 AppWorld、BFCL V3 和 ToolSandbox 三个工具使用基准测试中的评估表明，AMD 的平均准确率分别提升了 27.2%p、11.2%p 和 3.4%p，持续优于现有的基于记忆的基准方法。深入分析表明，子任务记忆带来的性能提升最大，教师的有效性取决于教师能力和学生兼容性的结合，并且 4B 规模的模型从 AMD 框架中获益最多。

智能体记忆蒸馏：利用分层教师记忆赋能小型大语言模型智能体

Agent Memory Distillation: Empowering Small LLM Agents with Hierarchical Teacher Memory

作者： Taeil Kim, Kangsan Kim, Sung Ju Hwang
学科： 人工智能 (cs.AI)；机器学习 (cs.LG)
arXiv： 2608.07169 [cs.AI] | DOI： 10.48550/arXiv.2608.07169
提交时间： 2026年8月7日（同行评议中）

Authors: Taeil Kim, Kangsan Kim, Sung Ju Hwang
Subjects: Artificial Intelligence (cs.AI); Machine Learning (cs.LG)
arXiv: 2608.07169 [cs.AI] | DOI: 10.48550/arXiv.2608.07169
Submitted: 7 August 2026 (Under review)

📌 摘要与总结

📌 Summary

小型语言模型（SLMs）在作为自主智能体时往往举步维艰，因为它们发现很难独立生成足够成功的交互轨迹。为了解决这一局限性，作者提出了智能体记忆蒸馏（Agent Memory Distillation, AMD），这是一个无需训练的框架，它通过分层记忆系统将来自大型教师智能体（例如 GPT-5-mini）的结构化知识迁移到较小的学生智能体（4B–8B 参数）中。

Small language models (SLMs) often struggle as autonomous agents because they find it difficult to independently generate sufficient successful trajectories. To address this limitation, the authors propose Agent Memory Distillation (AMD), a training-free framework that transfers structured knowledge from a large teacher agent (e.g., GPT-5-mini) to smaller student agents (4B–8B parameters) via a hierarchical memory system.

AMD 基于成功的教师轨迹构建了三种互补类型的记忆： 1. 工作流记忆（Workflow Memory）： 编码任务级策略（在任务开始时主动注入）。 2. 子任务记忆（Subtask Memory）： 提供中等粒度的具体行为示例（在任务开始时主动注入）。 3. 函数记忆（Function Memory）： 捕获每个函数调用的约定和常见陷阱（在发生工具调用错误时被动检索）。

AMD constructs three complementary types of memory derived from successful teacher trajectories: 1. Workflow Memory: Encodes task-level strategies (injected proactively at the start of a task). 2. Subtask Memory: Provides concrete behavioral examples at an intermediate granularity (injected proactively at the start of a task). 3. Function Memory: Captures per-function calling conventions and common pitfalls (retrieved reactively upon tool-calling errors).

在三个工具使用基准测试（AppWorld、BFCL V3 和 ToolSandbox）中进行评估，AMD 的平均准确率分别提升了 27.2%p、11.2%p 和 3.4%p，持续优于现有的基于记忆的基准方法。关键研究结果表明，子任务记忆带来了最大的性能提升，教师的有效性依赖于教师能力与学生兼容性的结合，并且 4B 规模的模型从 AMD 框架中获益最多。

Evaluated across three tool-use benchmarks (AppWorld, BFCL V3, and ToolSandbox), AMD achieved average accuracy gains of 27.2%p, 11.2%p, and 3.4%p, respectively, consistently outperforming existing memory-based baselines. Key findings indicate that Subtask memory drives the largest performance gains, teacher effectiveness relies on both teacher capability and student compatibility, and 4B-sized models benefit the most from the AMD framework.

📄 摘要

📄 Abstract

记忆系统在提升智能体性能方面展现出了前景，但对于小型语言模型而言，其潜力仍有待深入探索，因为小型模型很难靠自身生成足够成功的交互轨迹。我们提出了智能体记忆蒸馏（AMD），这是一个无需训练的框架，它通过分层记忆将结构化知识从大型教师智能体迁移到小型学生智能体。AMD 从成功的教师轨迹中构建了三种互补的记忆类型：工作流记忆编码任务级策略，子任务记忆提供中等粒度的具体行为示例，函数记忆则捕获每个函数的调用约定和常见陷阱。工作流和子任务记忆在每个任务开始时主动注入，而函数记忆则在工具调用出错时被动检索。我们在四个学生模型（4B-8B 参数）和 GPT-5-mini 作为教师的情况下，在三个工具使用基准上评估了 AMD，在 AppWorld、BFCL V3 和 ToolSandbox 上分别取得了 27.2%p、11.2%p 和 3.4%p 的平均准确率提升，同时在各项指标上持续优于现有的基于记忆的基准。进一步分析表明，子任务记忆贡献了最大的性能提升，教师的有效性取决于教师能力和学生兼容性，并且 4B 规模的学生模型从 AMD 中获益最多。 Memory systems have shown promise for improving agent performance, but their potential remains largely unexplored for small language models, which struggle to generate sufficient successful trajectories on their own. We propose Agent Memory Distillation (AMD), a training-free framework that transfers structured knowledge from a large teacher agent to a small student agent through hierarchical memory. AMD constructs three complementary memory types from successful teacher trajectories: Workflow memory encodes task-level strategies, Subtask memory provides concrete behavioral examples at an intermediate granularity, and Function memory captures per-function calling conventions and common pitfalls. Workflow and Subtask memories are injected proactively at the start of each task, while Function memory is retrieved reactively upon tool-calling errors. We evaluate AMD on three tool-use benchmarks using four student models (4B-8B parameters) with GPT-5-mini as the teacher, achieving average accuracy gains of 27.2%p, 11.2%p, and 3.4%p on AppWorld, BFCL V3, and ToolSandbox, while consistently outperforming existing memory-based baselines. Further analysis shows that Subtask memory contributes the largest gains, teacher effectiveness depends on both teacher capability and student compatibility, and 4B-sized students benefit most from AMD.

🔗 链接与资源

(许可协议参考：license icon 知识共享署名 4.0 国际许可协议)

(License Reference: license icon Creative Commons Attribution 4.0 International)