跳转至

文章背景与核心概要

在复杂的动态环境中，四足移动操作（Legged Mobile Manipulation）一直是具身智能领域的核心挑战之一。传统的视觉动作模型往往将机器人视为固定基座平台，难以处理由移动相机引起的视觉扰动，导致机身运动与机械臂操作之间的协调性不足。

为了解决这一技术瓶颈，本文推出了 DECOWAM（Decoupled Whole-Body World-Action Model）框架。该模型通过创新的“解耦式”架构，将相机自身运动与底盘及机械臂的动作显式分离，并借助专用的条件接口和对抗分离的潜在空间，显著提升了机器人在复杂动态环境中的控制鲁棒性与协调能力。此外，作者团队还开源了 ARMDOG 数据集，为未来的相关研究提供了宝贵的多模态真实世界数据支持。

DECOWAM: Decoupled Whole-Body World-Action Model for Legged Mobile Manipulation

Authors: Siyuan Ma, Boshi Zhang, Yutian Zhang, Qinglian Wu, Jiaqi Zhai, Dong Wei, Qiaojun Yu
Date: August 20, 2026 (v2: August 21, 2026)
Subjects: Artificial Intelligence (cs.AI); Robotics (cs.RO)
DOI: 10.48550/arXiv.2608.20114

摘要

DECOWAM（解耦式全身世界-动作模型）是一个旨在提升四足机器人移动操作能力的新型框架。与将机器人视为固定基座平台的传统模型不同，DECOWAM 显式地将相机自运动（ego-motion）与底盘及机械臂动作进行了解耦。通过利用专用的条件接口以及对抗分离的潜在空间，该模型在复杂、动态的环境中实现了卓越的协调性与鲁棒性。此外，作者团队还引入了 ARMDOG 这一全面的真实机器人数据集，该数据集同步了视频、全身状态和语言信息，旨在支持该领域的未来研究。

DECOWAM (Decoupled Whole-Body World-Action Model) is a novel framework designed to improve mobile manipulation in legged robots. Unlike traditional models that treat the robot as a fixed-base platform, DECOWAM explicitly decouples camera ego-motion from base and arm actions. By utilizing dedicated conditional interfaces and an adversarially separated latent space, the model achieves superior coordination and robustness in complex, dynamic environments. The authors also introduce ARMDOG, a comprehensive real-robot dataset synchronizing video, whole-body state, and language, to support future research in this domain.

核心贡献

  • 解耦式架构： 采用带有残差适配器的“FastWAM”主干网络，将底盘和机械臂的潜在变量（latents）进行分离，从而在移动视角下实现更精确的控制。
  • 具感知力的因式分解： 在视频预测中引入底盘速度条件化（base-velocity conditioning），使机器人能够更好地理解其运动如何影响视觉观测。
  • ARMDOG 数据集： 一个全新的真实世界数据集，提供同步的多模态数据（视频、状态、动作和语言），用于训练与评估。
  • 性能提升： 在闭环测试中，与 FastWAM 基线相比，DECOWAM 将动作均方误差（MSE）降低了 21.7%，同时保持了极高的任务完成率和出色的全身协调性。
  • Decoupled Architecture: Employs a "FastWAM" backbone with residual adapters to separate base and arm latents, allowing for more precise control under moving viewpoints.
  • Embodiment-Aware Factorization: Uses base-velocity conditioning for video prediction, enabling the robot to better understand how its locomotion affects visual observations.
  • ARMDOG Dataset: A new real-world dataset providing synchronized multi-modal data (video, state, action, and language) for training and evaluation.
  • Performance Gains: In closed-loop trials, DECOWAM reduced action Mean Squared Error (MSE) by 21.7% compared to the FastWAM baseline while maintaining high task completion rates and superior whole-body coordination.

技术亮点

特性 描述
主干网络 (Backbone) 适配了残差适配器的 FastWAM
潜在空间 (Latent Space) 对抗分离的底盘与机械臂潜在变量
条件化 (Conditioning) 用于改进视频预测的底盘速度条件化
效率 (Efficiency) 25.95M 个可训练的自适应参数
评估 (Evaluation) 每种方法进行 79 次闭环实验
Feature Description
Backbone Adapted FastWAM with residual adapters
Latent Space Adversarially separated base and arm latents
Conditioning Base-velocity conditioning for improved video prediction
Efficiency 25.95M trainable adaptation parameters
Evaluation 79 closed-loop trials per method

访问与资源