跳转至

权重中被遗忘，工具中被找回：大模型智能体的工具去学习

文章背景与核心概要

随着大语言模型（LLM）越来越多地被部署为具备工具调用能力的智能体，其输出结果不再仅依赖于模型参数记忆，而是高度依赖外部工具（如网络搜索、数据库查询等）。这给传统的机器去学习（Machine Unlearning）带来了严峻挑战：尽管现有方法能成功从模型权重中擦除特定知识，但智能体仍可通过调用外部工具轻松“找回”这些被遗忘的目标信息。

为了解决这一被称为“工具介导的恢复”（tool-mediated recovery）的问题，本文提出了“智能体工具去学习”（Agentic Tool Unlearning, ATU）框架。该框架包含两个阶段：首先进行参数化知识去学习以抑制直接回忆；其次通过在模拟的工具增强环境中进行轨迹级强化学习，惩罚那些旨在获取目标信息的工具调用行为，从而防止最终答案的泄露。实验证明，ATU 在 RWKU 和 MUSE 基准测试中有效平衡了目标遗忘与模型效用保留，显著提升了工具增强型智能体部署的鲁棒性。

📝 摘要

Large language models (LLMs) are increasingly deployed as tool-augmented agents, where responses can depend on tool calls and external observations rather than model parameters alone. This creates an evaluation mismatch for LLM unlearning: previous unlearning methods may suppress direct parametric recall, but an agent can still recover the same forget target through tools such as web search, retrieval, or database lookup. We identify this failure mode as tool-mediated recovery and study agentic tool unlearning, which aims to reduce both parametric recall and tool-mediated recovery while preserving normal tool use for retained knowledge. To address this challenge, we propose Agentic Tool Unlearning (ATU), a two-stage framework. The first stage applies parametric knowledge unlearning to suppress direct recall, while the second stage performs trajectory-level reinforcement learning in simulated tool-augmented environments to penalize target-seeking tool behavior and final-answer leakage. Experiments on RWKU and MUSE across different LLM architectures show that ATU achieves a better balance between target forgetting and retained utility, making unlearning more robust under tool-augmented agent deployment.

大语言模型（LLM）正越来越多地被部署为工具增强型智能体，其响应不仅依赖于模型参数，还依赖于工具调用和外部观察。这为 LLM 的去学习带来了评估上的错位：传统的去学习方法虽然可以抑制直接的参数化回忆，但智能体仍然可以通过网络搜索、检索或数据库查询等工具找回相同的遗忘目标。我们将这种失效模式定义为“工具介导的恢复”，并研究了“智能体工具去学习”，旨在减少参数化回忆和工具介导的恢复，同时保留对保留知识的正常工具使用能力。为了应对这一挑战，我们提出了一个两阶段框架——智能体工具去学习（ATU）。第一阶段应用参数化知识去学习来抑制直接回忆；第二阶段在模拟的工具增强环境中执行轨迹级强化学习，以惩罚目标搜索型的工具行为和最终答案的泄露。在不同 LLM 架构上对 RWKU 和 MUSE 基准进行的实验表明，ATU 在目标遗忘和保留效用之间取得了更好的平衡，使得去学习在工具增强型智能体部署中更加稳健。

🔗 链接与资源

license icon