跳转至

从恢复到断崖：动作后训练如何削弱视觉语言模型（VLM）的深层深度可解码性

文章背景与核心概要

随着视觉语言模型（VLM）向视觉语言动作模型（VLA）的演进，动作后训练（Action Post-training）在赋予模型物理操作能力的同时，也对其原有的空间理解能力产生了深远的影响。本文由 Alexander Hackett、Arnaud Denis-Remillard 和 Axel Cassou 撰写，并已被 ECCV 2026 的具身多模态推理（EMR）研讨会接收。研究团队通过对权重匹配的开源基础 VLM 与 VLA 模型对（Molmo2-ER 和 MolmoAct2-LIBERO）进行深入的层级探测，揭示了模型在空间深度感知上遭遇的两种独特退化现象：「地板效应」（Floor）与「断崖效应」（Cliff）。

该研究的科学价值在于其通过因果定位（Causal Localization）与模块级分解（Module-level Decomposition），首次精确锁定了导致 VLA 模型深层深度感知崩溃的“罪魁祸首”——即后期层中的多层感知机（MLP）干扰。研究发现，虽然基础 VLM 能够在后期的 MLP 写入中有效累积并恢复深度信息，但 VLA 在相同区域却出现了严重的表征冲突与衰退。这一发现为未来改进具身大模型的架构设计、缓解灾难性遗忘以及提升空间推理能力提供了重要的机理支撑。

摘要 (Abstract)

视觉语言模型（VLM）在经过构建视觉语言动作模型（VLA）的动作后训练过程后，其空间理解能力还保留了多少？我们通过对权重匹配的开源基础 VLM/VLA 模型对（Molmo2-ER 和 MolmoAct2-LIBERO）的每一个解码器层进行深度感知（作为时空几何理解的基本要素）探测，展开了深入研究。

How much of a vision-language model's (VLM) spatial understanding remains after the action post-training process of building a vision-language-action model (VLA)? We probe depth perception, a primitive of spatiogeometric understanding, from every decoder layer of a weight-matched open-source base VLM/VLA pair: Molmo2-ER and MolmoAct2-LIBERO.

首先，VLA 在每一层的深度解码表现都更差，我们将这种持续存在的差距称为“地板效应”（floor）。其次，这种退化并非均匀分布：虽然基础 VLM 的深度可解码性在其最后几层中不断改善，但 VLA 的可解码性却崩塌了，这种额外的后期层下降被称为“断崖效应”（cliff）。我们通过因果定位将该断崖归因于后期层的 MLP 干扰：消融后期层的 MLP 写入可以恢复绝大部分的终端可解码性断崖，而同等匹配的注意力消融以及在权重匹配的基础 VLM 中进行相同的干预则不会产生类似的恢复效果。模块级分解解释了这种解离现象：基础 VLM 在累积的 MLP 写入中最易访问地承载深度信息，而动作后训练则破坏了后期累积写入中的深度可解码性。

First, the VLA decodes depth worse at every layer, a persistent gap we call the floor. Second, the degradation is not uniform: while the base VLM's depth decodability improves through its final layers, the VLA's collapses, an additional late-layer drop we call the cliff. We causally localize the cliff to late-layer MLP interference: ablating the late-layer MLP writes recovers the majority of the terminal decodability cliff, while matched attention ablations and the same intervention in the weight-matched base VLM produce no comparable recovery. A module-level decomposition explains this dissociation: the base VLM carries depth most accessibly in accumulated MLP writes, whereas action post-training collapses depth decodability in the late accumulated writes.

总结 (Summary)

本文研究了视觉语言模型（VLM）在通过动作后训练转换为视觉语言动作模型（VLA）时，是如何失去空间理解能力的。通过探测权重匹配的开源基础 VLM/VLA 对（Molmo2-ER 和 MolmoAct2-LIBERO）中每一个解码器层的深度感知，作者发现了两种截然不同的退化现象： 1. 地板效应（The Floor）： 一种持续存在的差距，即 VLA 在每一层解码深度的效果都比基础 VLM 差。 2. 断崖效应（The Cliff）： VLA 最终层内深度可解码性的严重、局部的下降，这与基础 VLM 在相同层中的恢复和改善形成了鲜明对比。

通过因果定位和模块级分解，该研究表明这种终端可解码性断崖是由 VLA 中的后期层 MLP 干扰驱动的，而基础 VLM 则有效地在其 MLP 写入中积累了深度信息。

This paper investigates how vision-language models (VLMs) lose spatial understanding when transformed into vision-language-action models (VLAs) via action post-training. By probing depth perception across every decoder layer of a weight-matched open-source base VLM/VLA pair (Molmo2-ER and MolmoAct2-LIBERO), the authors discover two distinct degradation phenomena: 1. The Floor: A persistent gap where the VLA decodes depth worse than the base VLM at every layer. 2. The Cliff: A severe, localized drop in depth decodability within the VLA's final layers, contrasting sharply with the base VLM's recovery and improvement in the same layers.

Through causal localization and module-level decomposition, the study reveals that this terminal decodability cliff is driven by late-layer MLP interference in the VLA, whereas the base VLM effectively accumulates depth information within its MLP writes.