跳转至

WM-R1：通过强化学习训练具备推理与世界模型利用能力的GUI智能体

文章背景与核心概要

传统的移动端图形用户界面（GUI）强化学习（RL）智能体在训练过程中高度依赖真实的软硬件环境交互，往往面临资源消耗巨大、训练过程不稳定等痛点。为了突破这一技术瓶颈，本文推出了开创性的强化学习框架 WM-R1。该框架彻底摆脱了对真实环境的依赖，在所有 rollout（采样生成）阶段均利用世界模型来提供状态转移，从而大幅降低成本并提升稳定性。

WM-R1 的核心技术创新在于将世界模型直接嵌入到智能体的思维推理过程中，使其能够在做出最终操作前，模拟并评估候选动作的潜在后果。同时，该框架支持基于世界模型的大规模并行化、步骤级细粒度轨迹生成，并引入了兼顾任务成功率、轨迹效率和世界模型利用率的多维度规则奖励函数。在 Android 移动端基准测试上的实验表明，经 WM-R1 训练的智能体性能显著优于仅使用 GRPO 的基线方法以及推理时模拟方法。

概述与总结

WM-R1 is a pioneering reinforcement learning (RL) framework designed to train mobile Graphical User Interface (GUI) agents using world models instead of real environments. Traditional RL methods for GUI agents often struggle with high resource costs and instability due to extensive real-environment interactions. WM-R1 overcomes these bottlenecks by:

WM-R1 是一个开创性的强化学习（RL）框架，旨在利用世界模型而非真实环境来训练移动端图形用户界面（GUI）智能体。传统的 GUI 智能体强化学习方法由于需要进行大量的真实环境交互，往往面临高昂的资源成本和训练不稳定性。WM-R1 通过以下方式克服了这些瓶颈：

  • Replacing Real Environments: Utilizing world models as the source of state transitions during all rollouts.
  • Embedding World Models in Reasoning: Integrating world models directly into the agent's thinking process to simulate and evaluate the consequences of candidate actions prior to execution.
  • Granular Trajectory Generation: Supporting massively parallelized, step-level trajectory generation grounded in world models.
  • Multi-Dimensional Rewards: Introducing a rule-based reward function that optimizes for task success, trajectory efficiency, and effective world model utilization.
  • 替代真实环境： 在所有 rollout 阶段利用世界模型作为状态转移的来源。
  • 将世界模型嵌入推理过程： 将世界模型直接集成到智能体的思考过程中，在执行前模拟和评估候选动作的后果。
  • 细粒度轨迹生成： 支持基于世界模型的大规模并行化、步骤级细粒度轨迹生成。
  • 多维度奖励机制： 引入基于规则的奖励函数，同时优化任务成功率、轨迹效率和世界模型的高效利用。

Evaluated on Android mobile benchmarks, WM-R1-trained agents significantly outperform both standard GRPO-only baselines and inference-time simulation methods.

在 Android 移动端基准测试中进行评估，经 WM-R1 训练的智能体显著优于标准的仅 GRPO 基线方法以及推理时模拟方法。

论文详情

摘要

GUI agents trained with reinforcement learning (RL) have showcased strong environment learning capabilities on mobile platforms. However, RL typically demands extensive real-environment interactions, leading to high resource costs and instability, especially in GUI scenarios. To address these, we propose WM-R1, the first reinforcement learning framework that trains mobile GUI agents with world models instead of real environments. Specifically, world models serve as the source of state transitions during all rollouts, replacing the real Android environment within the training loop. WM-R1 also embeds world models directly into the thinking process, enabling agents to reason about the consequences of candidate actions before committing to the final action. Crucially, WM-R1 eliminates the need for real-environment interaction, supports massively parallelized and step-level granularized trajectory generation grounded in world models, and introduces a multi-dimensional rule-based reward that jointly optimizes task success, trajectory efficiency, and world model utilization. For efficient training, we curate a high-quality dataset of 2000 challenging tasks. Experiments on Android mobile benchmarks demonstrate that WM-R1-trained agents significantly outperform GRPO-only baselines and inference-time simulation methods.

经过强化学习（RL）训练的 GUI 智能体在移动平台上展现出了强大的环境学习能力。然而，强化学习通常需要大量的真实环境交互，这导致了高昂的资源成本和不稳定性，在 GUI 场景中尤为明显。为了解决这些问题，我们提出了 WM-R1，这是首个利用世界模型而非真实环境来训练移动端 GUI 智能体的强化学习框架。具体而言，世界模型在所有 rollout 期间充当状态转移的来源，在训练循环中替代了真实的 Android 环境。WM-R1 还将世界模型直接嵌入到思考过程中，使智能体能够在确定最终动作之前，对候选动作的后果进行推理。至关重要的是，WM-R1 消除了对真实环境交互的需求，支持基于世界模型的大规模并行化和步骤级细粒度轨迹生成，并引入了一种多维度规则驱动的奖励机制，能够共同优化任务成功率、轨迹效率和世界模型利用率。为了进行高效训练，我们精心构建了一个包含 2000 个具有挑战性任务的高质量数据集。在 Android 移动端基准测试上的实验表明，经 WM-R1 训练的智能体显著优于仅使用 GRPO 的基线方法以及推理时模拟方法。

资源与链接