跳转至

文章背景与核心概要

激活操控（Activation Steering）常被用于实现对大语言模型的模块化控制——即在生成过程中注入特定的行为向量（例如“礼貌”），从而在不影响其他内容的前提下开启某个特质。然而，本文的研究表明，steering 干扰是由模型的内在默认倾向决定的，而不是由所应用的具体行为方向决定的。当模型受到操控时，它会向一组预先存在且受到青睐的行为靠拢——主要是拒绝（refusal）、谄媚（sycophancy）和诗意化（poeticism）——这在很大程度上与实际操控的内容无关。

这项研究通过对 24 种行为和 10 个指令微调模型进行测试，得出了三个关键结果，且所有效果均通过大模型裁判对生成文本的评估得出，而非依赖探测器（probe）。研究表明，尽管所有 24 种行为都可以被线性解码，但其中只有 20 种真正改变了模型的输出。这一发现对现有的激活操控理论提出了重要挑战，暗示单纯依靠解耦行为方向并不能使操控实现真正的模块化。

Steering Interference Reflects the Model's Defaults, Not the Behavior Directions

arXiv ID: 2609.06951 [cs.LG]
Submitted: September 7, 2026
Authors: Srikanth Malla, Chiho Choi, Joon Hee Choi
License: CC BY-NC-SA 4.0

arXiv ID: 2609.06951 [cs.LG]
Submitted: September 7, 2026
Authors: Srikanth Malla, Chiho Choi, Joon Hee Choi
License: CC BY-NC-SA 4.0

📌 Summary

激活操控通常被用于对大语言模型进行模块化控制——在生成过程中加入特定的行为向量（如“礼貌”），以开启某个特质而不影响其他任何方面。然而，本文证明了steering 干扰是由模型的内在默认倾向决定的，而不是由所应用的具体行为方向决定的。

当模型被操控时，它会向一组预先存在的最爱行为趋近——主要是拒绝、谄媚和诗意化——这在很大程度上与实际正在操控的内容无关。

📌 Summary

Activation steering is often used for modular control over language models—adding a specific behavior vector (such as "politeness") during generation to switch a trait on without affecting anything else. However, this paper demonstrates that steering interference is determined by the model's intrinsic defaults rather than the specific behavior directions being applied.

When a model is steered, it is relaxed toward a pre-existing set of favored behaviors—primarily refusal, sycophancy, and poeticism—largely independent of what is actually being steered.

📋 Metadata

📋 Metadata

🔍 Abstract

激活操控有望实现对大语言模型行为的模块化控制：诸如礼貌之类的行为对应于模型激活中的一个方向，在该方向上添加该向量应该可以开启该行为并保持其他所有内容不变。然而事实并非如此。我们探讨了究竟是什么决定了其他哪些行为会发生变化以及变化多少，结果发现决定因素是模型本身，而不是被操控的行为。操控会使模型向一小类它本来就偏爱的行为靠拢，主要是拒绝、谄媚和诗意化，并且无论操控什么内容，这个行为集合都大体相同。

跨越 24 种行为和 10 个指令微调模型的三个结果支持了这一结论，所有效果都是由大模型裁判从生成的文本中读取的，而不是从探测器中读取的。这种读取方式至关重要：所有 24 种行为都是线性可解码的，但只有 20 种会改变模型编写的内容。

  1. 无方向扰动： 不携带任何行为内容的方向（其添加向量的大小与真实操控相匹配），与真实操控以相同的顺序移动相同的行为，同时却不会产生任何需要特定方向的行为。
  2. 不对称干扰： 大多数干扰是单向的，因此它不可能是两个方向之间的重叠：操控粗俗语言会使模型变得有毒，而操控毒性却不会触及粗俗语言。
  3. 几何独立性： 在完全保留某个行为的情况下，通过其他行为测得的几何结构几乎无法解释它所参与的干扰。

这一结论在所有 10 个模型上都成立，其中对默认倾向的拉力在 10B 参数以下的模型中最强，并在每个模型家族的较大变体中逐渐减弱。将操控理解为一种由模型固定其终点的扰动，意味着仅仅通过解耦行为方向并不能使操控实现模块化。

🔍 Abstract

Activation steering promises modular control of language model behavior: a behavior such as politeness corresponds to a direction in a model's activations, and adding that direction while it generates should switch the behavior on and leave everything else alone. It does not. We ask what decides which other behaviors move, and by how much, and find that it is the model rather than the behavior being steered. A steer relaxes the model toward a small set of behaviors it already favors, chiefly refusal, sycophancy, and poeticism, and that set is much the same whatever is steered.

Three results across 24 behaviors and ten instruction-tuned models support this, every effect read off the generated text by a language-model judge rather than off a probe. That readout matters: all 24 behaviors are linearly decodable, but only 20 change what the model writes.

  1. Directionless Perturbations: A direction carrying no behavioral content, matched to a real steer only in the size of the vector it adds, moves the same behaviors in the same order as real steers do, while producing none of the behaviors that need a specific direction.
  2. Asymmetric Interference: Most interference runs one way, so it cannot be an overlap between two directions: steering profanity makes the model toxic, while steering toxicity leaves profanity untouched.
  3. Geometry Independence: With a behavior held out entirely, geometry measured on the others explains almost none of the interference it takes part in.

The account holds on all ten models, with the pull toward defaults being strongest below 10B parameters and weakening in each family's largest variants. Reading a steer as a perturbation whose endpoint the model fixes implies that disentangling behavior directions cannot by itself make steering modular.

🔗 Full-Text & Resources

外部工具与集成

🔗 Full-Text & Resources

External Tools & Integrations