在仿真中预训练视觉灵巧操作
文章背景与核心概要
大规模预训练极大地加速了机器人策略的微调，但由于现实世界远程遥操作成本高昂，且人类手部视频存在异构形态（off-embodiment）及有损位姿估计的限制，多指灵巧手领域长期面临数据匮乏的困境。为解决这一问题，作者团队推出了灵巧操作仿真预训练（Simulation Pre-training for Dexterity, SPD）框架。该框架利用通过VR头显完全在仿真中收集的数据，进行无需机器人的同构形态（on-embodiment）演示采集。借助SPD，5名操作员在短短一周内收集了75小时的多任务灵巧操作数据，并用于预训练因果Transformer模型。
在包含56自由度双臂灵巧系统的物理实验中，仅使用1-2小时的真实物理演示对该模型进行微调，其性能便成功超越了从头开始训练的行为克隆（behavior cloning）基线。这充分证明了仿真远程遥操作是实现现实世界机器人灵巧操作的一种可行且强大的预训练范式。此外，本文还开展了消融实验，评估了历史条件化（history conditioning）以及用于反应式控制的短动作块（action chunks）所带来的性能提升。
摘要 (Abstract)
Large-scale pre-training has made robot policy fine-tuning increasingly data-efficient, but this progress has largely been driven by datasets and embodiments built around simple parallel-jaw grippers. Dexterous, multi-fingered hands remain comparatively data-starved because real teleoperation is costly to scale, while human hand video is off-embodiment and requires lossy pose estimation and retargeting.
大规模预训练使机器人策略的微调变得越来越高效，但这一进展主要由围绕简单平行夹爪构建的数据集和硬件形态所推动。相比之下，多指灵巧手仍然严重缺乏数据，因为现实世界的远程遥操作扩展成本高昂，而人类手部视频属于异构形态（off-embodiment），且需要进行有损的位姿估计和重定向（retargeting）。
We introduce Simulation Pre-training for Dexterity (SPD), a pre-training framework for dexterous manipulation that uses data entirely collected in simulation. In SPD, humans manipulate virtual objects inside a VR headset, enabling on-embodiment trajectories and robot-free collection. With the help of five operators, we collect 75 hours of multi-task dexterous manipulation over one week, and use it to pre-train a causal transformer on a sequence modeling objective.
我们引入了灵巧操作仿真预训练（Simulation Pre-training for Dexterity, SPD），这是一个专为灵巧操作设计的预训练框架，其使用的数据完全在仿真中收集。在SPD中，人类在VR头显内操作虚拟物体，从而实现同构形态（on-embodiment）的轨迹和无需机器人的数据采集。在五名操作员的协助下，我们在不到一周的时间内收集了75小时的多任务灵巧操作数据，并将其用于在序列建模目标上预训练因果Transformer。
We study the benefits of simulation pre-training on real-world tasks by fine-tuning on 1–2 hours of physical demonstrations on a 56-DoF bimanual dexterous setup. We find that our approach outperforms training behavior cloning policies from scratch, showing that simulation teleoperation is a viable pre-training source for real-world dexterous manipulation. We perform ablation studies, measuring the benefits of history conditioning and short action chunks for reactive control.
我们通过在具有56自由度的双臂灵巧系统上进行1-2小时的物理演示微调，研究了仿真预训练在现实世界任务中的益处。我们发现，我们的方法优于从头开始训练的行为克隆策略，这表明仿真远程遥操作是现实世界灵巧操作的一种可行预训练来源。我们还进行了消融实验，评估了历史条件化和用于反应式控制的短动作块（action chunks）所带来的优势。