跳转至

不同的反馈，不同的更新：大语言模型基于用户交互的选择性自学习

文章背景与核心概要

在大语言模型（LLM）的持续演进中，用户的自然交互反馈提供了宝贵的监督信号。然而，单条反馈信息往往包含多种行为修正需求，且它们的泛化范围各不相同。为了解决这一问题，本文介绍了 SLIFT（一种基于用户交互的选择性自学习框架）。该框架从任务相对视角出发，将每条反馈解构为原子组件（Fix、Spec 或 Null），并通过双 LoRA 适配器架构（通用器与专家器）分别处理不同泛化范围的更新需求。

SLIFT 在 MemoryBench 和 WildFB 基准测试中均取得了优异的性能，展现了其在利用用户交互进行模型持续自我优化方面的强大潜力与稳健机制。

📋 摘要 (Summary)

  • arXiv ID: 2608.09109 [cs.AI]
  • 发布日期: 2026年8月10日
  • 作者: Xuanchen Li, Haitao Li, Yujia Zhou, Qingyi Pan, Heng Wang, Yiqun Liu, Min Zhang, Qingyao Ai
  • 核心贡献: 作者推出了 SLIFT，这是一个针对大语言模型（LLM）的选择性自学习框架。该框架通过将反馈分解为原子组件（Fix、Spec 或 Null）来利用用户交互。SLIFT 采用双 LoRA 适配器架构（构建在共享冻结主干网上的通用器与专家器），以针对每种反馈类型的泛化范围应用定制化的更新。

📋 Summary

  • arXiv ID: 2608.09109 [cs.AI]
  • Publication Date: August 10, 2026
  • Authors: Xuanchen Li, Haitao Li, Yujia Zhou, Qingyi Pan, Heng Wang, Yiqun Liu, Min Zhang, Qingyao Ai
  • Core Contribution: The authors introduce SLIFT, a selective self-learning framework for Large Language Models (LLMs) that leverages user interactions by decomposing feedback into atomic components (Fix, Spec, or Null). SLIFT utilizes a dual LoRA adapter architecture (a Generalist and a Specialist built on a shared frozen backbone) to apply updates tailored to the generalization scope of each feedback type.

📄 摘要正文 (Abstract)

用户反馈为 LLM 的持续改进提供了天然的监督，但单条消息可能支持多个具有不同泛化范围的行为更改。我们介绍了 SLIFT，这是一个建立在任务相对的用户反馈视角之上的选择性自学习框架。

SLIFT 将每条反馈消息分解为原子组件，并相对于原始任务解释每个组件： * Fix（修复）: 对任务有效性的要求。 * Spec（规范）: 兼容的条件特定精细化调整。 * Null（无用）: 没有可靠积极更新方向的内容。

为了以合适的范围整合每个更改，SLIFT 在共享的冻结主干网络上训练了两个互补的 LoRA 适配器： 1. 通用器 (The Generalist): 通过反馈条件化的自蒸馏，将 Fix 要求整合到默认行为中。 2. 专家器 (The Specialist): 仅观察任务和通用器的响应，为适用且未满足的 Spec 精细化调整提供残差引导（Null 组件不会引发积极更新）。

跨多个主干网的实验表明，SLIFT 在 MemoryBench 和 WildFB 上均取得了强劲的性能，有针对性的分析进一步检验了其底层机制。

📄 Abstract

User feedback offers natural supervision for persistent LLM improvement, but a single message may support multiple behavioral changes with different scopes of generalization. We introduce SLIFT, a selective self-learning framework built on a task-relative view of user feedback.

SLIFT decomposes each feedback message into atomic components and interprets each component relative to the original task as: * Fix: Requirements for task validity. * Spec: Compatible condition-specific refinements. * Null: Content with no reliable positive update direction.

To incorporate each change at the appropriate scope, SLIFT trains two complementary LoRA adapters on a shared frozen backbone: 1. The Generalist: Consolidates Fix requirements into default behavior through feedback-conditioned self-distillation. 2. The Specialist: Observes only the task and Generalist response to supply residual guidance for applicable, unmet Spec refinements (Null components induce no positive update).

Across backbones, SLIFT achieves strong performance on both MemoryBench and WildFB, with targeted analyses further examining its underlying mechanisms.

📚 引用与参考工具 (Citation & Reference Tools)

📚 Citation & Reference Tools