跳转至

文章背景与核心概要

随着大语言模型（LLM）的日益普及，为了合规隐私法规和安全标准，“遗忘”特定数据的能力变得至关重要。传统方法通常依赖于词元级别的擦除，这往往会损害模型的整体效用和语言连贯性。

本文引入了一种名为 ADU（Attention-pathway Decoupling for Unlearning，用于遗忘的注意力路径解耦） 的新颖框架，将范式从简单的擦除转变为上下文注意力路径解耦。通过区分局部和全局注意力头，ADU 能够识别检索敏感信息的特定“预规划”位置，并抑制这些路径，同时保留模型更广泛的语言结构。最终实现了高效的遗忘过程，在保持良性任务高性能的同时，取得了卓越的“遗忘质量”。

Unlearning Is Not Just Erasing: Temporal Decoupling via Generation Inequality

arXiv: 2608.23020
Date: August 24, 2026
Authors: Xunlei Chen, Qirui Ye, Yuang Li, Yi Gong, Zhaokun Wang, Wenyi Li, Shiyao Guo, Jinyu Guo

Summary

随着大语言模型（LLM）的日益普及，“遗忘”特定数据的能力——以符合隐私法规和安全标准——变得至关重要。传统方法通常依赖于词元级别的擦除，这经常会降低模型的整体效用和语言连贯性。

As Large Language Models (LLMs) become ubiquitous, the ability to "unlearn" specific data—to comply with privacy regulations and safety standards—has become critical. Traditional methods often rely on token-level erasure, which frequently degrades the model's overall utility and linguistic coherence.

本文介绍了 ADU（用于遗忘的注意力路径解耦），这是一个新颖的框架，它将范式从简单的擦除转变为上下文注意力路径解耦。通过区分局部和全局注意力头，ADU 能够识别检索敏感信息的特定“预规划”位置，并在保留模型更广泛的语言结构的同时抑制这些路径。其结果是一个高效的遗忘过程，在良性任务上保持高性能的同时，实现了卓越的“遗忘质量”。

This paper introduces ADU (Attention-pathway Decoupling for Unlearning), a novel framework that shifts the paradigm from simple erasure to contextual attention-pathway decoupling. By distinguishing between local and global attention heads, ADU identifies the specific "preplan" positions that retrieve sensitive information and suppresses these pathways while preserving the model's broader linguistic structure. The result is a highly effective unlearning process that maintains high performance on benign tasks while achieving superior "Forget Quality."

Key Contributions

  • 概念转变： 从破坏性的词元级惩罚转向了解耦敏感信息检索路径的精细化方法。

    • Conceptual Shift: Moves away from destructive token-level penalization toward a surgical approach that decouples the retrieval paths of sensitive information.

  • ADU 框架：

    • 功能区分： 利用局部和全局注意力头之间的差异。
    • 路径固化： 识别并固化敏感锚点的候选路径。
    • 注意力投影适配器： 训练特定的适配器以抑制已识别路径上的注意力权重，而不损害保留集（retain-set）的语言建模。
      • ADU Framework:
        • Functional Distinction: Leverages the difference between local and global attention heads.
        • Pathway Fixation: Identifies and fixes candidate paths for sensitive anchors.
        • Attention-Projection Adapters: Trains specific adapters to suppress attention mass along identified paths without damaging the retain-set language modeling.

  • 性能指标：

    • 在 TOFU 基准测试中实现了 0.93 的遗忘质量（Forget Quality）。
    • 保留了 87%–98% 的模型效用（平均为 92.9%，而基线模型为 81.9%）。
    • 展示了在良性上下文中显著降低的副作用。
      • Performance Metrics:
        • Achieves a Forget Quality of 0.93 on the TOFU benchmark.
        • Preserves 87–98% of model utility (averaging 92.9% compared to 81.9% in baseline models).
        • Demonstrates significantly reduced side effects in benign contexts.

Technical Details

传统遗忘方法的局限性

现有方法通常直接惩罚目标输出。这种“生硬手段”的方法经常导致： 1. 语言退化： 破坏模型的内部结构。 2. 效用抑制： 对良性知识的无意抑制，导致模型整体能力的下降。

The Problem with Traditional Unlearning

Existing methods often penalize target outputs directly. This "blunt instrument" approach frequently results in: 1. Linguistic Degradation: Disruption of the model's internal structure. 2. Utility Suppression: Unintended suppression of benign knowledge, leading to a decline in general model capability.

ADU 方法

ADU 框架的运作方式包括： 1. 识别敏感锚点： 定位模型中检索敏感数据的特定位置。 2. 解耦： 使用注意力投影适配器来隔离这些路径。 3. 验证： 利用训练后激活交换来验证修改后的注意力输出模块是否成功传递了预期的遗忘效果。

The ADU Approach

The ADU framework operates by: 1. Identifying Sensitive Anchors: Locating the specific positions in the model that retrieve sensitive data. 2. Decoupling: Using attention-projection adapters to isolate these paths. 3. Validation: Utilizing post-training activation exchange to verify that the modified attention-output module successfully transmits the intended forgetting effect.

Access & References