跳转至

文章背景与核心概要

大语言模型（LLM）通过对用户历史和候选物品进行显式推理（例如提取偏好或解释物品契合度），显著提升了推荐系统的质量。然而，在每一次排序请求中重复这种深度推理不仅计算成本高昂，而且存在冗余，因为这些有价值的洞察通常在使用一次后就被丢弃了。

为了克服这一痛点，作者提出了 rEDMRec 框架。该框架将教师大语言模型的推理过程压缩并蒸馏到一个紧凑的结构化记忆库中。该记忆库由一个LLM记忆控制器通过 Add（添加）、Delete（删除）、Modify（修改）和 Keep（保留）操作进行维护，并通过 \(K\) एजेंट（\(K\) 智能体）辩论机制进行精炼。随后，轻量级的学生大语言模型仅通过从这个可编辑的记忆中检索即可执行候选排序，从而将在线推理成本与推理深度彻底解耦。

rEDMRec: Distilling Large Language Model Reasoning into an Editable Experience Memory for Recommendation

arXiv ID: 2608.18952
Primary Subject: Information Retrieval (cs.IR)
Secondary Subjects: Artificial Intelligence (cs.AI), Computation and Language (cs.CL)
Authors: Minh Hoang Nguyen, Tung Le, Huy Tien Nguyen
Submission Date: August 19, 2026

📌 Summary

大语言模型（LLM）通过对用户历史和候选物品进行显式推理（例如提取偏好或解释物品契合度），显著提升了推荐质量。然而，在每次排序请求中重复这种深度推理计算成本高昂且具有冗余性，因为这些洞察通常在使用一次后就被丢弃了。

Large Language Models (LLMs) significantly enhance recommendation quality through explicit reasoning over user history and candidate items (e.g., extracting preferences or explaining item fit). However, repeating this deep reasoning during every ranking request is computationally expensive and redundant, as the insights are typically discarded after a single use.

为了克服这一问题，作者提出了 rEDMRec 框架，该框架将教师LLM的推理过程压缩并蒸馏到一个紧凑的结构化记忆库中。该记忆库由LLM记忆控制器通过 Add、Delete、Modify 和 Keep 操作进行维护，并通过 \(K\) 智能体辩论机制进行精炼。随后，一个轻量级的学生LLM纯粹通过从这个可编辑的记忆中检索来执行候选排序——将在线推理成本与推理深度解耦。

To overcome this, the authors propose rEDMRec, a framework that compresses and distills a teacher LLM's reasoning into a compact, structured memory bank. This memory is maintained by an LLM memory controller using Add/Delete/Modify/Keep operations and refined via \(K\)-agent debate. A lightweight student LLM then performs candidate ranking purely by retrieving from this editable memory—decoupling online inference costs from reasoning depth.

🧠 Key Methodology & Architecture

  • 四种类型化经验通道：
  • 长期偏好： 捕捉稳定、持久的用户口味。
  • 短期上下文： 适应即时、最近的用户交互。
  • 物品感知： 存储对物品的结构化感知。
  • 反事实困难负样本比较： 评估拒绝负样本的原因，以锐化推荐边界。
  • LLM 记忆控制器： 使用基础操作（Add、Delete、Modify、Keep）自动管理和更新记忆条目。
  • \(K\) 智能体辩论优化： 在多个训练轮次（epochs）中精炼记忆库，以减少重复并提升下游排序性能。
  • Four Typed Experience Channels:
  • Long-term Preference: Captures stable, enduring user tastes.
  • Short-term Context: Adapts to immediate, recent user interactions.
  • Item-Perception: Stores structured perceptions of items.
  • Counterfactual Hard-Negative Comparisons: Evaluates why negative items were rejected to sharpen recommendation boundaries.
  • LLM Memory Controller: Automatically manages and updates the memory entries using foundational operations (Add, Delete, Modify, Keep).
  • \(K\)-Agent Debate Optimization: Refines the memory bank over multiple epochs to reduce duplication and improve downstream ranking performance.

📊 Key Results

  • 性能表现： 在所有评估的学生模型主干网络中（在 ML-1M、Amazon Beauty 和 Steam 数据集上测试），rEDMRec 的 HR@1 均优于零样本（zero-shot）、少样本（few-shot）和 RAG 基线。在绝大多数主干网络上，它也超越了 GraphRAG。
  • 显着提升： 在 ML-1M 数据集上，相比第二好的基线，HR@1 实现了高达 13.3% 的提升。
  • 通道洞察： 消融实验表明，短期上下文通道在所有模型能力层级中均表现出持续的收益，而长期、物品感知和反事实贡献则高度依赖于学生模型的能力。
  • 效率： 经过六个优化轮次，基于辩论的记忆优化成功将记忆库重复率降低了 7.4 个百分点，同时将下游的 HR@1 提升了高达 +0.029。
  • Performance: rEDMRec improves HR@1 over zero-shot, few-shot, and RAG baselines across all evaluated student backbones (tested on ML-1M, Amazon Beauty, and Steam datasets). It also outperforms GraphRAG on the majority of backbones.
  • Notable Gains: Achieves up to a 13.3% improvement in HR@1 compared to the second-best baseline on the ML-1M dataset.
  • Channel Insights: Ablation studies reveal that the short-term context channel is consistently beneficial across all model capacity tiers, whereas long-term, item-perception, and counterfactual contributions depend heavily on student model capacity.
  • Efficiency: Debate-based memory optimization successfully lowers bank duplication by 7.4 percentage points while boosting downstream HR@1 by up to +0.029 over six optimization epochs.