表征干涉的驱动力是什么？关于干涉模型拒绝机制的机制性案例研究

文章背景与核心概要

大语言模型（LLM）的表征干涉（Representation Steering）是一种高效且流行的模型对齐技术，然而学术界对其内部运作机制仍缺乏深入理解。本文以“拒绝行为（Refusal Behavior）”为切入点，通过全面的案例研究探讨了表征干涉背后的因果驱动力，旨在揭示干涉向量具体影响了哪些内部机制并如何导致不同的模型输出。

研究的核心发现包括：当在同一模型层应用时，不同的干涉方法会利用功能上可互换的电路；干涉向量主要通过 OV（输出-值）电路与注意力机制交互，而大体上绕过了 QK（查询-键）电路（在干涉期间冻结所有注意力分数，三个模型系列的性能仅下降 8.83%）；对受干涉的 OV 电路进行数学分解可揭示出语义上可解释的概念（即使干涉向量本身不可解释）；此外，借助多token激活修补技术，研究证明干涉向量可在不显著损失性能的情况下被稀疏化 85% 到 96%，并且不同的干涉方法在关键维度的子集上具有高度一致性。

摘要 (Abstract)

Applying steering vectors to large language models (LLMs) is an efficient and effective model alignment technique, but we lack an interpretable explanation for how it works—specifically, what internal mechanisms steering vectors affect and how this results in different model outputs.

To investigate the causal mechanisms underlying the effectiveness of steering vectors, we conduct a comprehensive case study on refusal. We propose a multi-token activation patching framework and discover that different steering methodologies leverage functionally interchangeable circuits when applied at the same layer. These circuits reveal that steering vectors primarily interact with the attention mechanism through the OV circuit while largely ignoring the QK circuit. Freezing all attention scores during steering drops performance by only 8.83% across three model families. A mathematical decomposition of the steered OV circuit further reveals semantically interpretable concepts, even in cases where the steering vector itself does not. Leveraging the activation patching results, we show that steering vectors can be sparsified by up to 85–96% while retaining most performance, and that different steering methodologies agree on a subset of important dimensions.

将干涉向量应用于大语言模型（LLM）是一种高效且有效的模型对齐技术，但我们缺乏对其工作原理的可解释性解释——具体而言，干涉向量影响了哪些内部机制，以及这如何导致不同的模型输出。

为了研究干涉向量有效性背后的因果机制，我们针对拒绝行为（refusal）进行了全面的案例研究。我们提出了一种多token激活 patching（修补）框架，并发现不同的干涉方法在同一层应用时，会利用功能上可互换的电路。这些电路表明，干涉向量主要通过 OV 电路与注意力机制交互，同时在很大程度上忽略了 QK 电路。在干涉期间冻结所有注意力分数，在三个模型系列中仅使性能下降了 8.83%。对受干涉的 OV 电路进行的数学分解进一步揭示了具有语义可解释性的概念，即使在干涉向量本身不具备可解释性的情况下也是如此。利用激活修补的结果，我们表明干涉向量可以被稀疏化高达 85–96% 且仍能保留大部分性能，并且不同的干涉方法在一个重要的维度子集上达成了一致。

元数据与学科分类 (Metadata & Subjects)

主学科 (Primary Subject): 机器学习 (cs.LG)
次学科 (Secondary Subjects): 人工智能 (cs.AI)、计算与语言 (cs.CL)
备注 (Comments): EMNLP 2026 主会。相较于先前的预印本进行了更新，包含了对 Qwen 3 8B 的实验、对归因修补方法（attribution patching method）的修正解释，以及附录中的补充结果。