汇聚而非准入：注意力机制如何将潜在变量转化为可表述形式

文章背景与核心概要

本文探讨了语言模型如何存储潜在量，并在任务需要时将其转化为可表述（可报告）的形式。作者挑战了传统的“工作空间（workspace）”假说，即认为存在某种选择性门控机制来决定信息是否进入工作空间。通过使用 Jacobian 透镜技术对开源模型进行分析，研究揭示了信息流动的本质。

研究发现，并不存在所谓的“准入闸门”来决定哪些信息进入工作空间；相反，任务需求会主动提升特定概念的可见性。这种向可读格式的转换是由特定中层深度窗口内的“注意力介导的汇聚”所驱动的。该处理窗口具有需求特异性，且在不同架构（如 64 层混合模型和 62 层密集模型）中表现出结构上的高度一致性。

摘要

语言模型以一种可报告的形式持有潜在量，当任务需要灵活重用这些量时，该形式中包含的量会更多。关于是什么导致表征进入这种形式，目前尚无定论，“工作空间”这一术语暗示了一种准入机制：即存在一个闸门来决定什么可以进入。

通过在开源模型上使用 Jacobian 透镜技术，并在五个分支共享相同上下文的基准测试中进行验证，我们发现并不存在预测中的那种闸门。任务需求将概念的透镜可见度提升到了超过对给定值应用算子所产生的水平：在我们主要的检查点上，百分位排名提升了 +0.050 [+0.045, +0.057]，在我们测量的所有四个检查点上均为正值，尽管该分支在回答时已达到上限，且在非饱和读出下，准确率匹配的对比更为强烈。

同时，一个共享的线性映射可以从每个分支（包括对照组）中解码出该变量，其解码能力是选择校正基准的 6.4-9.0 倍。在查询位置产生后续可读形式的机制是中层深度窗口内的“注意力介导的汇聚”：将补丁深度与读出深度分离后发现，在非饱和读出下，该区域的传输效率至少比任何较浅区域高出 17 倍，且没有任何测试过的 MLP 输出在其中做出正向贡献。在饱和百分位排名下，同样的网格无法定位该窗口，这反映了该度量指标本身的特性。对于不需要该变量的分支，其注意力集中度降低了七倍，这证明了该窗口具有需求特异性。

该窗口具有两个可测量的边界：下方的生存失败和上方的破坏，且在 64 层混合模型和来自另一个系列的 62 层密集模型中，它位于相同的分数深度。我们定位了变量安装和读取的位置，而不是从段落到该位置的路径，因为后者并不传输任何信息。然而，读出并非衡量使用的校准指标：三个组件将其移动到彼此 12% 的范围内，但在对答案的影响上却存在 7.4 倍的差异。

Language models hold latent quantities in a form they can report on, and more of a quantity is present in that form when the task requires reusing it flexibly. What causes a representation to enter that form is open, and the word workspace invites an admission story: a gate that decides what gets in.

Testing it on open-weight models with Jacobian lenses, over a benchmark whose five arms share an identical context, we find no gate where it predicts one. Demand raises a concept's lens visibility beyond what applying an operator to a supplied value produces: +0.050 [+0.045, +0.057] in percentile rank on our primary checkpoint, positive on all four we measure, though that arm answers at ceiling and the accuracymatched contrast is stronger under that readout.

At the same time one shared linear map decodes the variable from every arm, the control included, at 6.4-9.0x its selection-corrected floor. What produces the later readable form at the queried position is attention-mediated gathering inside a mid-depth window: separating patch depth from readout depth puts transport there at least 17x above anywhere shallower under non-saturating readouts, with no tested MLP output contributing positively inside it. Under the saturating percentile rank the same grid does not localise the window, which is a fact about that measure. An arm that needs the variable for nothing concentrates sevenfold less, so the window is demand-specific.

That window has two measured edges, a survival failure below and destruction above, and it falls at the same fractional depth in a 64-layer hybrid and a 62-layer dense model from another family. We localise where the variable is installed and read, not the route from the passage, which transports nothing. But the readout is not a calibrated measure of use: three components move it to within 12% of one another and differ 7.4x in what they do to the answer.

提交历史

• [v1] 2026年8月15日，星期六，04:12:24 UTC (3,601 KB)

许可图标资源引用自源文件：