跳转至

归因光谱基础模型中的预处理不变性

文章背景与核心概要

本文探讨了光谱基础模型中的“预处理不变性”——即当不同实验室采用不同的数据预处理流程时，冻结的模型仍能保持有效性的理想特性。传统观点认为，通过在一种预处理流程下训练分类器并在另一种流程下测试，若精度得以保持，则证明模型具备了学习到的不变性。

然而，作者通过拉曼光谱基础模型的研究发现，这一假设存在关键性疏漏。研究指出，这些模型在应用任何学习参数之前，都会利用光谱自身的统计数据对输入进行归一化。当这种归一化将不同预处理的光谱映射为相同的向量时，编码器接收到的输入完全一致，因此所谓的“不变性”实际上源于无需学习参数的归一化层，而非模型本身的表征学习。

实证结果表明，在六个拉曼评估数据集及其他已发布系统中，基础模型的表现并未显著优于其原始归一化层。尽管训练确实能提升编码器性能，但模型仅在明确接触到特定变换时才会学会忽略它们。该研究揭示了当前领域内对模型不变性来源的误读，并为评估基础模型的真实学习能力提供了新的视角。

摘要

预处理不变性是光谱基础模型的一个理想目标：即当实验室采用不同的光谱预处理方式时，冻结的模型仍应保持可用性。通常，该特性通过在一种预处理流程下训练分类器并在另一种流程下进行测试来衡量，并将精度的保持视为模型学习能力的证据。

我们重新审视了这一解读，并以拉曼基础模型作为案例研究。此类模型在应用任何学习参数之前，都会对输入进行归一化处理。如果该归一化将两个经过不同预处理的光谱映射为相同的向量，那么编码器接收到的输入就是相同的，因此这种不变性不能归因于学习。对于使用每个光谱自身统计数据的归一化方法，这种情况恰好发生在当一个光谱是另一个光谱的常数倍加上一个常数时。几种标准的预处理操作都符合这种形式。因此，编码器的性能应该与单纯的归一化层进行对比，因为后者不包含任何学习参数。

在六个拉曼评估数据集上，该模型并未表现出明显优于其自身归一化层的性能。它确实比原始光谱有所改进，但单纯的归一化层也能达到同样的效果。训练确实能使编码器优于随机初始化，且对照实验表明，模型只有在明确接触到某种变换时，才会学会忽略它。一项数值测试确定了给定归一化所能消除的变换类型。在五个模态的已发布系统中，大多数归一化已经消除了这种形式的变换，而其中几个系统却声称这种不变性是模型学习到的结果。在其中两个系统上重复对比实验后，发现并没有带来额外的增益。

Preprocessing invariance is an appealing goal for spectral foundation models: a frozen model should remain useful when laboratories preprocess spectra differently. It is usually measured by training a classifier under one preprocessing pipeline and testing it under another, with preserved accuracy read as evidence of learning.

We revisit that reading, using a Raman foundation model as a case study. Such models normalize their inputs before any learned parameter is applied. If that normalization maps two differently preprocessed spectra to the same vector, the encoder receives identical inputs, so the invariance cannot be attributed to learning. For a normalization that uses each spectrum's own statistics, this happens exactly when one spectrum is a positive multiple of the other plus a constant. Several standard preprocessing operations take that form. The encoder should therefore be measured against the normalization alone, which has no learned parameters.

On six Raman evaluation datasets, the model does not measurably outperform its own normalization. It improves on raw spectra, but so does the normalization alone. Training does improve the encoder over random initialization, and a controlled experiment shows that it learns to ignore a transformation only when that transformation reaches it. A numerical test settles which transformations a given normalization removes. Across released systems in five modalities, most normalizations already remove transformations of that form, and several of those systems claim that invariance as learned. Replicating the comparison on two of them shows no gain either.

链接与资源