跳转至

文章背景与核心概要

在深度学习的机理可解释性研究中，研究人员通常依赖探针激活（probe activations）来分离出激活度最高的单元，并将其指定为负责特定计算的“电路”。在这篇论文中，作者 Yuhang Jiang 和 Bowen Zhang 针对 Mamba 模型对这一常见假设进行了严格测试，重点关注状态汇聚（state sink）——即选择性状态空间模型中等同于 Transformer 注意力汇聚的机制（其中 \(\Delta\) 门控在 BOS 和换行符等边界标记上会产生不成比例的激活）。

作者通过实验证明，虽然探针单元在粗粒度的 Mamba-1 通道层面具有因果效应，但在 Mamba-2 的注意力头（head）粒度上，表征与位点的对应关系在三个重要方面彻底失效： 1. 非唯一的因果集；2. 表征与功能的解耦；3. 干预表面的差异。该研究最终得出结论：在选择性状态空间模型中找到表征特征确实能锁定一组对模型行为至关重要的头部，但单一探针只能恢复出“一个”电路，而不是“那个”唯一的电路。

是一个电路，而非那个电路：Mamba-2 状态汇聚的非唯一因果定位 (A Circuit, Not The Circuit: Non-Unique Causal Localisation of the Mamba-2 State Sink)

Authors: Yuhang Jiang, Bowen Zhang
Subjects: Computation and Language (cs.CL); Artificial Intelligence (cs.AI); Machine Learning (cs.LG)
arXiv ID: arXiv:2606.00930 [cs.CL]
DOI: 10.48550/arXiv.2606.00930
Publication History: Submitted on May 30, 2026; Last revised August 25, 2026 (v2, substantially revised).

Authors: Yuhang Jiang, Bowen Zhang
Subjects: Computation and Language (cs.CL); Artificial Intelligence (cs.AI); Machine Learning (cs.LG)
arXiv ID: arXiv:2606.00930 [cs.CL]
DOI: 10.48550/arXiv.2606.00930
Publication History: Submitted on May 30, 2026; Last revised August 25, 2026 (v2, substantially revised).

执行摘要 (Executive Summary)

机理可解释性通常依赖于读取探针激活来隔离最高激活的单元，将其指定为负责特定计算的特定“电路”。在本文中，Jiang 和 Zhang 对 Mamba 的这一常见假设进行了测试，专门聚焦于状态汇聚（state sink）——这是选择性状态空间（selective state-space）对 Transformer 注意力汇聚的等价物（其中 \(\Delta\) 门控在诸如 BOS 和换行符等边界标记上会不成比例地触发）。

Mechanistic interpretability often relies on reading probe activations to isolate top-activating units, designating them as the specific "circuit" responsible for a computation. In this paper, Jiang and Zhang test this common assumption on Mamba, focusing specifically on the state sink—the selective state-space equivalent of the Transformer attention sink (where the \(\Delta\)-gate fires disproportionately on boundary tokens such as BOS and newline).

作者证明，虽然探针单元在粗粒度的 Mamba-1 通道层面承载着因果效应，但标签到位点的链接在 Mamba-2 的头部（head）粒度上以三种显著的方式崩塌：

The authors demonstrate that while probe units carry causal effects at a coarse Mamba-1 channel granularity, the label-to-locus link breaks down at Mamba-2 head granularity in three significant ways:

  1. 非唯一因果集： 因果集并非唯一的。一组几乎不相交的最高激活头部（几乎不共享任何专精头部）可以匹配甚至超过原始专精头部的消融效果。
  2. 表征与功能的解耦： 表征并不严格追踪功能。双重头部（占所有头部的四分之一到三分之一以上）对 BOS 和换行符标记的反应相似，但却无法重现专精头部的因果特征。
  3. 干预表面差异： 因果效应会根据干预表面的不同而解耦。扰动依赖于输入的 \(\Delta\)（探针读取的内容）最多会使损失（loss）改变 0.16 nat，而抑制这些相同头部的输出则会使损失产生 1.5 到 7.3 nat 的偏移。
  1. Non-Unique Causal Sets: The causal set is not unique. A near-disjoint set of top-activation heads (sharing almost none of the specialists) can match or even exceed the ablation effect of the original specialists.
  2. Dissociation of Representation and Function: Representation does not strictly track function. Dual heads (representing a quarter to over a third of all heads) respond similarly to BOS and newline tokens yet fail to reproduce the causal profile of the specialists.
  3. Intervention Surface Discrepancies: The causal effect dissociates depending on the surface of intervention. Perturbing the input-dependent \(\Delta\) (which the probe reads) alters the loss by at most 0.16 nats, whereas suppressing the outputs of those same heads shifts the loss by 1.5 to 7.3 nats.

尽管存在这些定位上的模糊性，但被目标的头部对于模型行为仍然具有至关重要的重要性。在旗舰检查点（checkpoints）上，在 1024 个标记的上下文下，抑制这些头部会将 RULER 风格探针上的大海捞针（needle-retrieval）成功率从 30/30 骤降至 0/30。最终，研究得出结论：在选择性状态空间模型中找到表征特征可以精确定位一组在行为上重要的头部，但单一探针恢复出的是“一个”电路，而不是“那个”电路。

Despite these localization ambiguities, the targeted heads remain critically important for model behavior. Suppressing them drops needle-retrieval success on a RULER-style probe from 30/30 down to 0/30 at a 1024-token context across flagship checkpoints. Ultimately, the study concludes that finding a representational signature in a selective state-space model pinpoints a behaviorally important set of heads, but a single probe recovers a circuit, not the circuit.

关键发现与修订（v2 版本更新） (Key Findings & Revisions (v2 Updates))

v2 版本修订显著撤回了早期的检测/执行二分法（detection/execution dichotomy），取而代之的是一个以非唯一因果定位为核心的严谨框架。该更新纳入了广泛的控制实验，包括： * 探针集交集与差集消融。 * 与通用比较器（generalist comparator）一起评估的大小和深度匹配的余弦零值（cosine null）。 * 综合阈值扫描。 * 联合与边际分解。

The v2 revision notably withdraws the earlier detection/execution dichotomy, replacing it with a rigorous framework centered on non-unique causal localisation. This update incorporates extensive controls, including: * Probe-set intersection and difference ablations. * A size- and depth-matched cosine null evaluated alongside a generalist comparator. * Comprehensive threshold sweeps. * Joint and marginal decompositions.