跳转至

文章背景与核心概要

联合嵌入预测架构（JEPAs）是构建世界模型的一种强大方法，但它们容易出现“表征坍缩”（representation collapse）——即编码器持续输出常数值的状态。现有的解决方案通常依赖于人工约束，例如强制潜空间分布匹配各向同性的高斯分布（如 SIGReg）。

本文引入了一种名为动作对比掩码转移建模（Action-Contrastive Masked Transition Modeling, AC-MTM）的新方法。该方法不依赖外部几何约束，而是利用转移数据本身来防止坍缩。通过引入一个仅在训练阶段使用的逆动力学头（识别潜状态之间所采取的动作），该模型产生了一个强大的抗坍缩信号。这种方法优于传统基于高斯正则化的方法，尤其是在复杂的视觉场景任务中，同时在测试时保持了相同的性能和计算需求。

无需高斯假设：面向 JEPA 世界模型的对比逆动力学

作者： Jack Boylan, Chris Hokamp
Date: August 18, 2026
arXiv: 2608.17542

摘要 (Summary)

Joint-Embedding Predictive Architectures (JEPAs) are a powerful approach to world modeling, but they are prone to "representation collapse"—a state where the encoder produces constant outputs. Existing solutions typically rely on artificial constraints, such as forcing latent distributions to match an isotropic Gaussian (e.g., SIGReg).

联合嵌入预测架构（JEPAs）是构建世界模型的一种强大方法，但它们容易出现“表征坍缩”——即编码器持续输出常数值的状态。现有的解决方案通常依赖于人工约束，例如强制潜空间分布匹配各向同性的高斯分布（如 SIGReg）。

This paper introduces Action-Contrastive Masked Transition Modeling (AC-MTM), a novel method that prevents collapse by leveraging the transition data itself rather than external geometric constraints. By incorporating a training-only inverse-dynamics head that identifies the action taken between latent states, the model creates a robust anti-collapse signal. This approach outperforms traditional Gaussian-based regularization, particularly in complex visual scene tasks, while maintaining identical test-time performance and compute requirements.

本文引入了一种名为动作对比掩码转移建模（Action-Contrastive Masked Transition Modeling, AC-MTM）的新方法。该方法不依赖外部几何约束，而是利用转移数据本身来防止坍缩。通过引入一个仅在训练阶段使用的逆动力学头（识别潜状态之间所采取的动作），该模型产生了一个强大的抗坍缩信号。这种方法优于传统基于高斯正则化的方法，尤其是在复杂的视觉场景任务中，同时在测试时保持了相同的性能和计算需求。

核心贡献 (Key Contributions)

1. 超越高斯正则化 (Moving Beyond Gaussian Regularization)

Traditional models like LeWorldModel (LeWM) use SIGReg to force latent representations into a Gaussian distribution. The authors argue that this imposes an arbitrary geometry on the environment. AC-MTM removes this requirement, allowing the representation to be shaped by the dynamics of the environment instead.

诸如 LeWorldModel (LeWM) 等传统模型使用 SIGReg 来强制将潜表征转换为高斯分布。作者认为，这给环境强加了一种随意的几何结构。AC-MTM 移除了这一要求，转而允许表征由环境的动力学特性来塑造。

2. 动作对比掩码转移建模 (Action-Contrastive Masked Transition Modeling, AC-MTM)

The core innovation is the addition of an Action-NCE (Noise-Contrastive Estimation) objective. * Mechanism: The model must identify which action produced a specific latent transition among a batch of other actions. * Anti-Collapse: A collapsed encoder would be unable to distinguish between these transitions, effectively forcing the encoder to learn meaningful, distinct representations to succeed at the discrimination task. * Efficiency: The inverse-dynamics head is discarded after training, ensuring that test-time inference, planning, and compute costs remain identical to standard JEPA implementations.

核心创新在于引入了 Action-NCE（噪声对比估计）目标函数。 * 机制： 模型必须在一批其他动作中，识别出究竟是哪一个动作产生了特定的潜状态转移。 * 抗坍缩： 发生坍缩的编码器将无法区分这些转移，这实际上迫使编码器学习到有意义的、可区分的表征，以便在判别任务中取得成功。 * 效率： 逆动力学头在训练完成后会被丢弃，从而确保测试时的推理、规划和计算成本与标准的 JEPA 实现完全相同。

3. 实验性能 (Empirical Performance)

  • Pixel-Control Tasks: AC-MTM trains stably from scratch and matches the performance of SIGReg on standard benchmarks.
  • Visual Scene Tasks: On the challenging OGBench Visual Scene task, AC-MTM significantly outperformed SIGReg, achieving 80.0% success compared to 58.0%, demonstrating a 20–24 point improvement across training seeds.
  • 像素控制任务： AC-MTM 可以从头开始稳定训练，并在标准基准测试中匹配 SIGReg 的性能。
  • 视觉场景任务： 在更具挑战性的 OGBench 视觉场景任务中，AC-MTM 显著优于 SIGReg，成功率达到了 80.0%（而 SIGReg 为 58.0%），在不同的训练随机种子下展现出了 20 到 24 个百分点的性能提升。

技术优势 (Technical Advantages)

  • Distribution-Free: Does not require the latent space to follow a specific distribution (e.g., Gaussian).
  • Minimal Overhead: No need for target networks, stop-gradient operations, pretrained encoders, or reconstruction objectives.
  • Robustness: Provides a clear, data-driven signal that prevents the trivial solution of a constant encoder.
  • 免分布（Distribution-Free）： 不需要潜空间遵循特定的分布（如高斯分布）。
  • 极低开销： 无需目标网络、停止梯度（stop-gradient）操作、预训练编码器或重建目标。
  • 鲁棒性： 提供了一个清晰的、数据驱动的信号，从而防止了编码器输出常数的平庸解。

资源 (Resources)