跳转至

可解码但不可拆卸：训练数据粒度决定大语言模型的参数模块化

文章背景与核心概要

本文探讨了大语言模型（LLM）是否将特定领域的知识存储在集中的、可移除的神经元群体（即“参数壳”）中。研究人员通过跨多种模型规模、粒度和领域的测试，揭示了一个关键发现：参数模块化程度严格取决于训练数据在词元（token）层面的粒度。

研究表明，尽管模型内部可以轻松解码出领域身份，但由于空间上的交织，想要“拆卸”特定的学术学科知识是不可能的。相比之下，语言和模态之间的区分则表现出清晰且高度对角化的参数隔离。这一发现挑战了关于模型知识存储方式的传统假设，并指出参数壳的形成仅发生在训练数据在词元层面具有模块化特征的地方。

📌 摘要 (Summary)

本文研究了大语言模型（LLM）是否将特定领域的知识存储在集中的、因果上必要的神经元群体（参数壳）中。通过跨多种模型规模、粒度和领域的测试，作者揭示了参数模块化严格取决于训练数据在词元层面的粒度。虽然领域身份在模型内部易于解码，但由于空间上的交织，干净地“拆卸”特定的学术学科是不可能的。然而，模态和语言的区别表现出清晰、高度对角化的参数隔离。

This paper investigates whether Large Language Models (LLMs) store domain-specific knowledge in concentrated, removable neuron populations (parametric shells). By testing across multiple model sizes, granularities, and domains, the authors reveal that parametric modularity is strictly determined by training data granularity at the token level. While domain identities are easily decodable within models, cleanly "detaching" specific academic subjects is impossible due to spatial interleaving. However, modality and language distinctions show clear, highly diagonalized parametric isolation.

🧠 抽象 (Abstract)

大语言模型是否包含特定领域的参数壳：即那些集中的、因果上必要的神经元群体，移除它们是否会选择性地降低目标领域的性能而不影响其他领域？

我们对两种领域粒度、三个模型系列（1.5B 到 7B 参数）和八个领域应用了统一的因果方法论： * 学术学科层面： 在 939,008 个 FFN 神经元中，没有神经元的领域选择性超过 60%。尽管领域身份的线性解码准确率超过 85%，但因果损伤矩阵仍然保持平坦。 * 语言和模态层面： 0.65–1.14% 的神经元选择性超过 60%，损伤矩阵几乎是完美的对角线（比率高达 595:1），且壳神经元集本质上是不相交的（IoU < 0.003）。

此外，屏蔽代码选择性神经元会使所有模型的数学推理准确率下降 16–24 个百分点，而屏蔽西班牙语或中文神经元则会将数学推理能力降至随机水平或以下。壳强度随规模单调增加，但壳在空间上以一种防止组级选择性量化的模式交织在一起。最终，参数壳形成于且仅形成于训练数据在词元层面具有模块化特征的地方。

Do large language models contain domain-specific parametric shells: concentrated, causally necessary neuron populations whose removal selectively degrades a target domain while sparing others?

We apply a uniform causal methodology across two domain granularities, three model families (1.5B to 7B parameters), and eight domains: * Academic Subject Level: Zero neurons exceed 60% domain selectivity across 939,008 combined FFN neurons. Causal damage matrices remain flat, despite domain identity being linearly decodable above 85% accuracy. * Language and Modality Level: 0.65–1.14% of neurons exceed 60% selectivity, damage matrices are near-perfectly diagonal (ratios up to 595:1), and shell neuron sets are essentially disjoint (\(\text{IoU} < 0.003\)).

Furthermore, masking code-selective neurons reduces mathematical reasoning accuracy by 16–24 percentage points across all models, while masking Spanish or Chinese neurons drops math reasoning to at or below random levels. Shell strength increases monotonically with scale, yet shells are spatially interleaved in a pattern that prevents group-level selective quantization. Ultimately, parametric shells form where and only where training data was modular at the token level.