跳转至

加权记忆树：为长程 LLM 智能体保留关键信息

文章背景与核心概要

大型语言模型（LLM）智能体在处理多步骤任务时，往往会因执行历史的不断累积而面临推理成本激增的问题。过长的历史记录不仅会引入无关或误导性信息，还会干扰模型的推理质量。现有的记忆压缩方法虽然能缓解部分压力，但缺乏有效的机制来动态判断哪些记忆应当保持活跃。

本文提出了“加权记忆树”（Weighted Memory Tree, WMT），这是一种将执行轨迹组织为任务、子任务和动作的层级化记忆系统。WMT 通过为每个记忆节点分配动态保留分数，利用基于事件的更新和基于选择的衰减机制，实现了对有用信息的精准保留、对已完成轨迹的折叠以及对低效内容的抑制。

实验结果表明，在 GAIA-Text 基准测试中，WMT 在提升模型准确率的同时显著降低了 Token 消耗，并有效抑制了不可靠信息的传播。该研究强调，长程智能体的记忆效能不仅取决于存储容量，更取决于对活跃信息的筛选能力。

论文元数据

  • arXiv ID: arXiv:2608.20631 [cs.AI]
  • 学科: 人工智能 (cs.AI)
  • 作者: Quang Dao, Purvi Kathalkar, Kenneth Eaton
  • 提交日期: 2026年8月21日
  • 篇幅: 16页，2张图表

摘要

Large language model (LLM) agents have demonstrated the ability to solve multi-step tasks requiring planning, tool use, and external information access, yet growing execution histories increase inference cost and expose reasoning to outdated, irrelevant, or misleading information, potentially degrading reasoning quality. Existing memory approaches organize or compress execution histories but provide limited mechanisms for deciding which memories remain active.

大型语言模型（LLM）智能体已展现出解决多步骤任务的能力，这些任务通常需要规划、工具使用和外部信息访问。然而，不断增长的执行历史增加了推理成本，并使推理过程暴露在过时、无关或误导性的信息中，从而可能降低推理质量。现有的记忆方法虽然能组织或压缩执行历史，但在决定哪些记忆应保持活跃方面提供的机制有限。

We introduce the Weighted Memory Tree (WMT), a hierarchical memory system that organizes execution into tasks, subtasks, and actions while assigning each memory a dynamic retention score. Event-based updates and selection-based decay revise these scores, allowing WMT to preserve useful information, fold completed trajectories, suppress low-utility content, and retain access to folded context.

我们引入了加权记忆树（Weighted Memory Tree, WMT），这是一种层级化记忆系统，它将执行过程组织为任务、子任务和动作，并为每个记忆分配一个动态保留分数。基于事件的更新和基于选择的衰减机制会修正这些分数，使 WMT 能够保留有用信息、折叠已完成的轨迹、抑制低效内容，并保留对已折叠上下文的访问权限。

We evaluate WMT on GAIA-Text using Qwen3-8B, Gemma 4 E4B, and Llama-3.1-8B, with ablations and memory-poisoning experiments. Relative to linear memory, WMT improves accuracy by an average of 9.97 percentage points while reducing prompt-token usage by 32.8%. Memory-poisoning experiments show that WMT limits the persistence and propagation of unreliable information. Our results suggest that effective long-horizon agent memory depends less on storing more information than on deciding which information should remain active.

我们使用 Qwen3-8B、Gemma 4 E4B 和 Llama-3.1-8B 在 GAIA-Text 上对 WMT 进行了评估，并进行了消融实验和记忆投毒实验。与线性记忆相比，WMT 的准确率平均提高了 9.97 个百分点，同时将提示词 Token 的使用量减少了 32.8%。记忆投毒实验表明，WMT 限制了不可靠信息的持久性和传播。我们的研究结果表明，有效的长程智能体记忆与其说是取决于存储更多信息，不如说是取决于决定哪些信息应该保持活跃。

访问链接与资源