跳转至

文章背景与核心概要

传统的自监督视频预训练方法往往面临巨大的计算开销，并且严重依赖复杂的启发式约束。为了防止表征坍塌（Representation Collapse），以往的方法通常采用复杂的架构不对称性，例如结合指数移动平均（EMA）目标编码器、停止梯度（stop-gradient）以及容量受限的预测器，或者通过在像素空间重建被掩码的内容来绕过坍塌问题。这些繁重的设计不仅增加了计算负担，也限制了模型的可扩展性。

为了解决这一痛点，由 Lukas Kuhn、Yann LeCun 等研究人员组成的团队推出了 LeVJEPA。这是首个在 LeVJEPA 无坍塌目标函数下训练的视频编码器框架。通过利用 SIGReg 进行正则化，并借助针对全局和局部视频片段视图的不变性损失（invariance loss），LeVJEPA 彻底去除了传统的复杂设计，将网络架构简化为单一的“编码器-投影器”（encoder-projector）设置，并将优化目标精简为仅含单个超参数。

该研究的核心突破体现在效率和因果简单性两个方面。得益于均匀随机 Token 丢弃机制，LeVJEPA 在 ViT-S/B/L 模型上的预训练计算量比 V-JEPA 2 减少了 5.6 到 20.8 倍，同时下游准确率保持不变甚至更高；在相同总 FLOPs 下，它在 ImageNet-1K 上超越了最强的视频基准模型 7.6 个百分点。此外，由于无需分支间的不对称性，编码器能够原生支持块因果注意力（block-causal attention），使时间顺序直接成为编码器本身的内在属性。这项工作表明，一旦去除了计算开销，视频将成为通用视觉预训练更具可行性且在多方面更具优势的基础载体。

LeVJEPA: Efficient & Scalable Video Pretraining without the Heuristics

arXiv: [2608.27395 [cs.CV]]
Submitted on: August 27, 2026
Authors: Lukas Kuhn, Lucas Maes, Giuseppe Serra, Quentin Le Lidec, Yann LeCun, Randall Balestriero, Florian Buettner

📌 Summary

LeVJEPA 是一种新颖的、无坍塌（collapse-free）的视频编码器框架，它消除了传统自监督视频预训练中常见的沉重计算开销和复杂的启发式约束。通过利用由 SIGReg 正则化并由全局和局部片段视图的不变性损失驱动的 LeVJEPA 无坍塌目标，LeVJEPA 将网络架构简化为简单的编码器-投影器设置，并将目标简化为单个超参数。

核心进展包括： * 大幅减少计算量： 借助均匀随机 Token 丢弃机制，在 ViT-S/B/L 模型上，其预训练计算量比 V-JEPA 2 减少了 5.6 倍到 20.8 倍，同时匹配或超越了下游准确率。 * 卓越的图像与运动性能： 在匹配总 FLOPs 的情况下，在 ImageNet-1K 上超越了最强的视频基准模型 7.6 个百分点，同时在以运动为中心的基准测试中保持极具竞争力的表现。 * 通过架构实现时间排序： 支持块因果注意力（block-causal attention）且不会带来准确率损失，使得时间排序能够从编码器本身自然涌现，而无需复杂的枝干不对称性。

LeVJEPA is a novel, collapse-free video encoder framework that removes the heavy computational overhead and complex heuristic constraints typical of traditional self-supervised video pretraining. By utilizing LeJEPA's collapse-free objective—regularized by SIGReg and driven by an invariance loss over global and local clip views—LeVJEPA reduces network architectures to a simple encoder-projector setup and the objective to a single hyperparameter.

Key advancements include: * Drastic Compute Reductions: Achieves 5.6× to 20.8× less pretraining compute than V-JEPA 2 across ViT-S/B/L models while matching or exceeding downstream accuracy, thanks to uniform random token dropping. * Superior Image & Motion Performance: Surpasses the strongest video baselines by 7.6 points on ImageNet-1K at matched total FLOPs while remaining highly competitive on motion-centric benchmarks. * Temporal Ordering via Architecture: Supports block-causal attention without accuracy penalties, allowing temporal ordering to emerge natively from the encoder itself without requiring complex branch asymmetries.

Abstract

视频承载着物理世界的时空结构，然而从视频中学习表征在计算上依然代价高昂：以往盛行的自监督方法要么通过架构不对称性来防止表征坍塌（将指数移动平均目标编码器、停止梯度以及容量受限的预测器耦合在一起），要么通过在像素空间重建被掩码的内容来绕过坍塌问题。

我们推出了 LeVJEPA，这是首个在 LeVJEPA 无坍塌目标函数下训练的视频编码器，它摒弃了上述两种做法。我们使用单一编码器，通过针对视频片段的全局和局部视图的不变性损失进行训练，并由 SIGReg 进行正则化，从而在理论上提供了防止坍塌的证明保证。该架构简化为一个编码器和一个投影器，目标函数也简化为一个单一的超参数。这种公式化设计具备两个特性：

  1. 高效性： 预训练的成本由编码器观察到的 Token 数量决定；均匀随机 Token 丢弃机制使这个数量变得很小，同时还能提升下游准确率。在相同数据和相同训练轮次（epochs）下，LeVJEPA 在 ViT-S/B/L 上匹配或超越了 V-JEPA 2，而预训练计算量减少了 5.6 到 20.8 倍；在匹配总 FLOPs 的情况下，它在 ImageNet-1K 上超过了最强的视频基准模型 7.6 个百分点，同时在以运动为中心的基准测试中保持竞争力。
  2. 因果简单性： 由于不需要任何分支间的不对称性，编码器可以使用块因果注意力进行训练，且不会带来可测量的准确率损失：时间排序成为了编码器本身的属性。

与在相同视频帧上进行预训练、计算量匹配的 DINOv2 相比，LeVJEPA 在以外观为中心的评估中接近了基于图像预训练的编码器，同时将其以运动为中心的准确率提升了近一倍。这些结果表明，一旦去除了计算开销，视频将成为通用视觉预训练可行且在多方面更优的基础载体。

Video carries the temporal structure of the physical world, yet learning representations from it has remained computationally expensive: prevailing self-supervised methods either prevent representation collapse through architectural asymmetries, coupling an exponential-moving-average target encoder, a stop-gradient, and a capacity-limited predictor, or circumvent it by reconstructing masked content in pixel space.

We introduce LeVJEPA, the first video encoder trained under LeJEPA's collapse-free objective, which dispenses with both. A single encoder is trained with an invariance loss over global and local views of a clip, regularized by SIGReg, which excludes collapse with a provable guarantee. The architecture reduces to an encoder and a projector, and the objective to a single hyperparameter. This formulation admits two properties:

  1. Efficiency: The cost of pretraining is governed by the number of tokens the encoder observes; uniform random token dropping renders this number small while simultaneously improving downstream accuracy. At matched epochs on identical data, LeVJEPA matches or surpasses V-JEPA 2 across ViT-S/B/L at 5.6 to 20.8× less pretraining compute, and at matched total FLOPs it exceeds the strongest video baseline by 7.6 points on ImageNet-1K while remaining competitive on motion-centric benchmarks.
  2. Causal Simplicity: Since no asymmetry between branches is required, the encoder can be trained with block-causal attention at no measurable accuracy cost: temporal ordering becomes a property of the encoder itself.

Against a compute-matched DINOv2 trained on frames of the same videos, LeVJEPA approaches the image-pretrained encoder on appearance-centric evaluation while nearly doubling its motion-centric accuracy. These results indicate that, once its computational overhead is removed, video becomes a viable and in several respects preferable substrate for general-purpose visual pretraining.

Additional Information

Access Full-Text & Resources

相关工具与社区链接