跳转至

解耦可指令智能体的规划与控制

文章背景与核心概要

预训练的视觉语言模型（VLM）在根据指令和观察生成高层级规划方面表现出色，但在陌生环境中难以生成低延迟的动作序列。相比之下，世界模型控制器擅长进行快速的“观察到动作”的控制，但缺乏开放式的任务引导。为了弥合这一鸿沟，本文引入了 Instruct-to-Act 系统，该系统将 VLM 规划器与世界模型控制器结合起来。

通过利用合成指令重新标记策略回放（policy rollouts），并联合优化行为克隆、奖励最大化和世界建模目标，该控制器学会了根据稀疏的高层级文本指令以高频率运行。在包括三个多智能体设置在内的七个具身环境中的评估表明，这种解耦方法优于纯控制器基线和直接 VLM 动作生成基线，同时在大多数任务中保持了与强大的视觉语言动作（VLA）和多智能体强化学习方法相竞争的性能。

论文元数据 (Paper Metadata)

  • arXiv ID: 2608.26788
  • 主要学科: 人工智能 (cs.AI)
  • 次要学科: 计算与语言 (cs.CL); 多智能体系统 (cs.MA); 机器人学 (cs.RO)
  • 作者: Zineng Tang, Kelsey R. Allen, Sjoerd van Steenkiste, Ishita Dasgupta, Alane Suhr
  • 提交日期: 2026年8月27日
  • 会议: 作为会议论文发表于 COLM 2026
  • arXiv ID: 2608.26788
  • Primary Subject: Artificial Intelligence (cs.AI)
  • Secondary Subjects: Computation and Language (cs.CL); Multiagent Systems (cs.MA); Robotics (cs.RO)
  • Authors: Zineng Tang, Kelsey R. Allen, Sjoerd van Steenkiste, Ishita Dasgupta, Alane Suhr
  • Submission Date: August 27, 2026
  • Conference: Published as a conference paper at COLM 2026

摘要 (Abstract)

近期的研究表明，经过指令微调的预训练视觉语言模型（VLM）在将指令和观察映射为高层级规划方面表现良好，但在陌生环境中难以将这些规划实现为可靠的低延迟动作序列。与此同时，世界模型控制器擅长快速的观察到动作的控制，但缺乏开放式的任务引导。

在这项工作中，我们将这些优势结合到一个单一系统 Instruct-to-Act 中。在该系统中，我们训练一个世界模型控制器，当以 VLM 规划器生成的稀疏、较高延迟的高层级文本指令为条件时，能够以高频率自主行动。为了训练控制器能够理解语言指令，我们用合成指令重新标记了控制器策略回放的片段，并联合优化了行为克隆目标以及现有的奖励最大化和世界建模目标。

我们在七个具身环境中评估了我们提出的方法，其中包括三个多智能体环境——在这些环境中，VLM 规划器通过语言进行协调，而训练好的控制器则充当其执行器。在匹配的观察和动作空间下，我们的解耦方法在六个任务中一致地优于纯控制器和直接 VLM 动作生成的变体，保留了快速控制能力，并且允许我们无需微调即可替换不同的预训练 VLM 规划器，同时在七分之六的任务中保持了与强大的视觉语言动作和多智能体强化学习基线的竞争力。

Recent work shows that pre-trained, instruction-tuned vision-language models (VLMs) perform well at mapping from instructions and observations to high-level plans, but struggle to realize such plans as reliable low-latency action sequences in unfamiliar environments. At the same time, world-model controllers excel at fast observation-to-action control, but lack open-ended task guidance.

In this work, we combine these strengths into a single system, Instruct-to-Act, where we train a world-model controller to act autonomously at high frequency when conditioned on sparse, higher-latency, and high-level text instructions generated by a VLM planner. To train controllers to be language-instructable, we relabel segments of controller policy rollouts with synthetic instructions and jointly optimize a behavior-cloning objective along with existing reward-maximizing and world-modeling objectives.

We evaluate our proposed approach across seven embodied environments, including three multi-agent environments where VLM planners coordinate through language while trained controllers serve as their actuators. Under matched observation and action spaces, our decoupled approach consistently outperforms controller-only and direct VLM action-generation variants, preserves fast control, and lets us swap in different pretrained VLM planners without fine-tuning, while remaining competitive with strong vision-language-action and multi-agent RL baselines on six of seven tasks.