跳转至

掩码并非模型：对注意力、状态空间及混合序列模型中前缀不变性的审计

文章背景与核心概要

本文正式定义了“前缀不变性”（prefix invariance）——即在位置 \(t\) 的表征不得依赖于未来输入的根本性要求，并将其应用于现代序列架构（注意力机制、状态空间模型及混合模型）中。作者提出了一种轻量级的审计方法，仅需两次前向传播，无需训练或梯度计算，即可定位因果性失效的具体位置。

研究发现，传统的“注意力掩码检查”是不完整的，因为即使正确应用了掩码，信息仍可能通过扫描（scans）或归一化层发生泄漏。在针对八个模型检查点的 192 次故障注入试验中，标准的掩码检查未能检测到任何泄漏（0/192），而所提出的审计方法成功定位了全部 192 个案例，并揭示了诸如 Zamba2 和 Nemotron-H 等成熟模型中存在的缺陷。

📋 摘要

本文正式定义了“前缀不变性”——即在位置 \(t\) 的表征不得依赖于未来输入的根本性要求，并将其应用于现代序列架构（注意力机制、状态空间模型及混合模型）中。作者提出了一种轻量级的审计方法，仅需两次前向传播，无需训练或梯度计算，即可定位因果性失效的具体位置。

This paper formalizes prefix invariance—the fundamental requirement that representations at position \(t\) must not depend on future inputs—across modern sequence architectures (Attention, State-Space, and Hybrid models). The authors introduce a lightweight audit method requiring only two forward passes without the need for training or gradients to localize exact causality breakdowns.

研究发现，传统的“注意力掩码检查”是不完整的，因为即使正确应用了掩码，信息仍可能通过扫描（scans）或归一化层发生泄漏。在针对八个模型检查点的 192 次故障注入试验中，标准的掩码检查未能检测到任何泄漏（0/192），而所提出的审计方法成功定位了全部 192 个案例，并揭示了诸如 Zamba2 和 Nemotron-H 等成熟模型中存在的缺陷。

Their findings reveal that traditional attention-mask inspection is incomplete, as information leaks can still occur via scans or normalization layers even when masks are correctly applied. Across 192 injected-fault trials on eight model checkpoints, standard mask inspection failed to detect any leaks (0/192), whereas the proposed audit successfully localized all 192 cases and uncovered defects in established models like Zamba2 and Nemotron-H.

📌 论文详情

  • 领域： 计算机科学 > 机器学习 (cs.LG), 人工智能 (cs.AI)
  • 篇幅： 24 页，4 张图表
  • 许可： 知识共享署名 4.0 license icon

🔗 链接与资源