自监督视觉表示学习的三个必要原则
文章背景与核心概要
在无需人工显式标注（标签）的情况下学习优秀的视觉表示，是当前计算机视觉和人工智能领域的核心研究方向之一。本文深入探讨了自监督学习（SSL）的基础需求，指出一个有效的自监督学习训练信号必须由三个互不重叠的目标共同组成：观察（Observation）、预测（Prediction）和正则化（Regularization）。
通过严谨的理论形式化推导与对照实验，该研究证明了若在没有适当正则化的情况下结合观察与预测，会导致表示坍塌（如常数编码器）；同时证明了观察与预测目标在编码器输出端具有梯度互补且结构上不冲突的特性。此外，文章指出动量编码器（momentum encoder）最终会收敛到与在线编码器相同的定点，且在收敛时无法提供防坍塌保证。本文将现有的主流自监督方法统一在一个单一的能量分解框架下，并通过受控实验验证了各项理论推论。
摘要 (Abstract)
我们认为，在没有标签的情况下学习视觉表示，需要一个在三个互不重叠的目标上联合完备的训练信号：跨增强视图的语义不变性、补丁级（patch-level）空间预测以及表示的非退化性。我们将这些原则形式化为观察、预测和正则化原则，并证明了： 1. 在无负样本对齐（negative-free alignment）下，结合观察和预测但没有正则化会导致常数编码器成为全局极小值点； 2. 这两个目标在编码器输出端是梯度互补且结构上不冲突的； 3. 动量编码器收敛到与在线编码器相同的定点，且在收敛时无法提供防坍塌保证。
对比对齐（Contrastive alignment）仅能提供自我限制的防坍塌阻力，这通过显式梯度衰减论证进行了形式化说明。抛弃预测会在结构上去掉空间训练信号；抛弃观察会在结构上去掉跨视图语义不变性；在我们研究的规模下，任意两者都无法替代第三者。每一个主流的自监督方法都是单一统一能量分解的特例。我们将每一项理论断言与对照实验相结合，包括用于评估预测空间后果的补丁检索评估。
We argue that learning visual representations without labels requires a training signal jointly complete across three non-overlapping objectives: semantic invariance across augmented views, patch-level spatial prediction, and representational non-degeneracy. We formalize these as the observation, prediction, and regularization principles and prove 1. that combining observation and prediction without regularization admits the constant encoder as a global minimizer under negative-free alignment; 2. that the two objectives are gradient-complementary and structurally non-conflicting at the encoder output; and 3. that the momentum encoder converges to the same fixed point as the online encoder and provides no collapse guarantee at convergence.
Contrastive alignment provides only self-limiting collapse resistance, formalized via an explicit gradient-decay argument. Dropping prediction withholds the spatial training signal by construction; dropping observation forfeits cross-view semantic invariance by construction; at the scale we study, no pair substitutes for the third. Every major self-supervised method is a special case of a single unified energy decomposition. We pair every theoretical claim with a controlled experiment, including a patch-retrieval evaluation for the spatial consequence of prediction.
元数据与文档信息 (Metadata & Document Information)
- arXiv ID: arXiv:2608.08309 [cs.CV]
- 学科分类 (Subjects): 计算机视觉与模式识别 (
cs.CV)；人工智能 (cs.AI)；机器学习 (cs.LG) - 会议 (Conference): ECCV 2026 Workshop UniWorld
- 提交日期 (Submission Date): 2026年8月8日（最后修订于2026年9月2日）
- 作者 (Authors):
- Nikos Giakoumoglou
- Paschalis Giakoumoglou
- Tania Stathaki
- arXiv ID: arXiv:2608.08309 [cs.CV]
- Subjects: Computer Vision and Pattern Recognition (
cs.CV); Artificial Intelligence (cs.AI); Machine Learning (cs.LG)- Conference: ECCV 2026 Workshop UniWorld
- Submission Date: August 8, 2026 (Last revised September 2, 2026)
- Authors:
- Nikos Giakoumoglou
- Paschalis Giakoumoglou
- Tania Stathaki