跳转至

无梯度自适应：仿射统计迁移及其证书的启示

文章背景与核心概要

测试时自适应（TTA）传统上需要在推理过程中更新模型参数。然而，对于冻结的、第三方的、受内存限制的模型，以及缺乏 BatchNorm 的架构来说，这种方法并不切实际。本文引入了 CASTER，这是一种用于适应冻结模型的轻量级无梯度方法。CASTER 不通过反向传播修改权重，而是将源类统计信息存储在判别子空间中，利用目标批次的矩估计类共享的仿射变换，并在分类前对源分布进行解析迁移。

为了解决仿射迁移不可靠的情况（例如 ImageNet-C），作者引入了一种经验性的“残差到边界可迁移性证书”。这种安全机制有效地过滤掉了破坏性的更新，将负面的基线性能影响转化为持续的准确率提升。

📌 摘要 / Summary

Test-time adaptation (TTA) traditionally requires updating model parameters during inference. However, this is impractical for frozen, third-party, or memory-constrained models, as well as architectures lacking BatchNorm.

测试时自适应（TTA）传统上需要在推理过程中更新模型参数。然而，对于冻结的、第三方的、受内存限制的模型，以及缺乏 BatchNorm 的架构来说，这种方法并不切实际。

This paper introduces CASTER, a lightweight, gradient-free method for adapting frozen models. Instead of modifying weights via a backward pass, CASTER stores source class statistics in a discriminative subspace, estimates a class-shared affine transformation using target-batch moments, and analytically transports the source distributions prior to classification.

本文引入了 CASTER，这是一种用于适应冻结模型的轻量级无梯度方法。CASTER 不通过反向传播修改权重，而是将源类统计信息存储在判别子空间中，利用目标批次的矩估计类共享的仿射变换，并在分类前对源分布进行解析迁移。

To address instances where affine transport is unreliable (e.g., ImageNet-C), the authors introduce an empirical residual-to-margin transportability certificate. This safety mechanism effectively filters out destructive updates, converting negative baseline performance impacts into consistent accuracy gains.

为了解决仿射迁移不可靠的情况（例如 ImageNet-C），作者引入了一种经验性的残差到边界可迁移性证书。这种安全机制有效地过滤掉了破坏性的更新，将负面的基线性能影响转化为持续的准确率提升。

🔍 Key Contributions & Findings / 核心贡献与发现

  • Gradient-Free Adaptation: CASTER performs test-time adaptation without requiring backward passes, optimizer states, or stored feature banks.

    • 无梯度自适应： CASTER 执行测试时自适应时，无需反向传播、优化器状态或存储的特征库。

  • Superior Efficiency: Outperforms k-NN baselines on identical frozen features in 27 out of 28 backbone-dataset configurations across 4 backbones and 7 datasets, while maintaining a median of 18× less state.

    • 卓越的效率： 在跨越 4 种主干网络和 7 个数据集的 28 种主干网络-数据集配置中，有 27 种表现优于相同冻结特征上的 k-NN 基线，同时保持了中位数达 18 倍更少的状态量。

  • Transportability Certificate: Introduces a residual-to-margin certificate that identifies unreliable updates. Gating updates through this certificate turns an average \(-3.35\)-point drop from unconditional transport into a \(+1.69\)-point accuracy boost.

    • 可迁移性证书： 引入了一种残差到边界证书，用于识别不可靠的更新。通过该证书对更新进行门控，可将无条件迁移带来的平均 \(-3.35\) 个百分点的下降转变为 \(+1.69\) 个百分点的准确率提升。

  • Mechanism-Specific Safety: Demonstrates that the certificate is robust and mechanism-specific (e.g., when applied to Tent, it safely rejects \(95.7\%\) of risky updates).

    • 机制特定的安全性： 证明了该证书具有鲁棒性且特定于机制（例如，当应用于 Tent 时，它能安全地拒绝 \(95.7\%\) 的风险更新）。