跳转至

文章背景与核心概要

本文介绍了“点火指数”（The Ignition Index），这是一个经过验证的标量指标，旨在量化 Transformer 语言模型中全局工作空间理论（GWT）的“全或无”点火预测。通过将四参数 Sigmoid 函数拟合到逐层线性探针准确率中，该指标提取出了能够区分突发式点火过渡与渐进式累积的陡峭度参数（\(\hat{\beta}\)）。

研究人员评估了跨越 5 个架构系列的 11 个模型，发现在点火动力学方面，前馈 Transformer 显著优于状态空间模型（SSMs）；循环架构在迭代轴上表现出独特的工作空间式过渡；并且在归纳头（induction-head）形成之前，会出现特定的训练阶段转变。该研究为 GWT 的动力学预测与机制可解释性之间提供了首个经过验证的定量桥梁。

The Ignition Index: Measuring Global Workspace Dynamics in Language Models

📋 Summary

The Ignition Index introduces a validated scalar metric designed to quantify the "all-or-none" ignition predictions of Global Workspace Theory (GWT) within transformer language models. By fitting a four-parameter sigmoid to per-layer linear probe accuracies, the metric extracts a steepness parameter (\(\hat{\beta}\)) that distinguishes abrupt, ignition-like transitions from gradual build-ups.

Evaluating 11 models across 5 architectural families revealed that feedforward transformers significantly outperform State Space Models (SSMs) in ignition dynamics, recurrent architectures show distinct workspace-like transitions across iteration axes, and specific training phase transitions occur prior to induction-head formation.

点火指数引入了一个经过验证的标量指标，旨在量化 Transformer 语言模型中全局工作空间理论（GWT）的“全或无”点火预测。通过将四参数 Sigmoid 函数拟合到逐层线性探针准确率中，该指标提取出一个陡峭度参数（\(\hat{\beta}\)），该参数能够区分突发、类似点火的过渡与渐进式的累积。

通过对跨越 5 个架构系列的 11 个模型进行评估，研究发现：前馈 Transformer 在点火动力学方面显著优于状态空间模型（SSMs），循环架构在迭代轴上表现出独特的工作空间式过渡，并且在归纳头形成之前会发生特定的训练阶段转变。

📌 Document Metadata

Metadata Field Details
arXiv ID arXiv:2608.05160 [cs.AI]
Subjects Artificial Intelligence (cs.AI); Computation and Language (cs.CL); Machine Learning (cs.LG)
ACM Classes I.2.7; I.2.6; I.5.1
Author Saman Rahbar
Submitted On 26 May 2026
DOI 10.48550/arXiv.2608.05160
Resources GitHub Repository
元数据字段 详情
arXiv ID arXiv:2608.05160 [cs.AI]
研究主题 人工智能 (cs.AI); 计算与语言 (cs.CL); 机器学习 (cs.LG)
ACM 类别 I.2.7; I.2.6; I.5.1
作者 Saman Rahbar
提交时间 2026年5月26日
DOI 10.48550/arXiv.2608.05160
开源资源 GitHub 仓库

🧠 Abstract

We introduce the Ignition Index (\(\mathcal{I}\)), a validated scalar metric that operationalizes Global Workspace Theory's (GWT) all-or-none ignition prediction in transformer language models. The metric fits a four-parameter sigmoid to per-layer linear probe accuracy as a function of input signal strength, extracting steepness parameter \(\hat{\beta}\): high values indicate abrupt, ignition-like transitions; low values indicate graded build-up.

Across 11 models spanning five architecture families, shuffled-label controls demonstrate 9.6-fold selectivity for genuine linguistic structure over spurious probe capacity (\(p < 0.001\), Mann-Whitney U-test).

我们引入了点火指数（\(\mathcal{I}\)），这是一个经过验证的标量指标，它在 Transformer 语言模型中将全局工作空间理论（GWT）的“全或无”点火预测付诸实践。该指标将四参数 Sigmoid 函数拟合到作为输入信号强度函数的逐层线性探针准确率中，从而提取出陡峭度参数 \(\hat{\beta}\)：高值表示突发的、类似点火的过渡；低值表示渐进式的累积。

在跨越五个架构系列的 11 个模型中，打乱标签的对照实验证明，对于真正的语言结构而言，该指标具有针对伪探针容量的 9.6 倍选择性（\(p < 0.001\)，曼-惠特尼 U 检验）。

Key Findings:

  1. Feedforward vs. SSMs: Feedforward transformers exceed SSMs by 89% in aggregate \(\hat{\beta}\) (\(p < 1e-13\), Cohen's \(d = 0.52\)), with Mamba exhibiting near-linear profiles consistent with absent global broadcast.
  2. Recurrence Dimensions: Huginn-3.5B exhibits 2.12-fold higher ignition along its iteration axis than its depth axis, demonstrating that recurrent architectures manifest workspace-like transitions along the recurrence dimension.
  3. Training Phase Transitions: Pythia-410M shows a PELT-detected phase transition at training step 256 (+67%), preceding induction-head formation.
  4. Scale & Signal Independence: Hypotheses linking ignition to model scale and signal strength were not confirmed, suggesting transformer architectures may saturate available ignition mechanisms.

The Ignition Index provides the first validated quantitative bridge between GWT's dynamical predictions and mechanistic interpretability, with 9.6-fold measurement selectivity and architecture-level discriminability not previously characterized in the scaling literature.

主要发现：

  1. 前馈模型与 SSM 对比： 在总体 \(\hat{\beta}\) 值上，前馈 Transformer 比 SSM 超出 89%（\(p < 1e-13\)，科恩 \(d = 0.52\)），其中 Mamba 表现出与缺乏全局广播相一致的近线性轮廓。
  2. 循环维度： Huginn-3.5B 在其迭代轴上的点火度比深度轴高出 2.12 倍，这表明循环架构在循环维度上表现出了类似工作空间的过渡。
  3. 训练阶段转变： Pythia-410M 在训练步数 256 处表现出由 PELT 检测到的阶段转变（+67%），这发生在归纳头形成之前。
  4. 规模与信号独立性： 将点火与模型规模及信号强度联系起来的假设并未得到证实，这表明 Transformer 架构可能已经饱和了可用的点火机制。

点火指数在 GWT 的动力学预测与机制可解释性之间提供了首个经过验证的定量桥梁，具备 9.6 倍的测量选择性和在以往规模化文献中尚未表征的架构级可辨别性。

🔗 Full-Text & Access Links

🔗 全文与访问链接

🔍 External References & Tools

🔍 外部参考与工具