跳转至

TMRL：扩散时间步调制预训练助力高效策略微调

文章背景与核心概要

在机器人领域，利用强化学习（RL）对预训练策略进行微调时，常面临“分布狭窄”问题：通过行为克隆（BC）预训练的策略往往缺乏下游任务高效探索所需的动作多样性。

本文提出的 TMRL（时间步调制强化学习） 是一种将 BC 预训练与 RL 微调无缝衔接的统一框架。其核心创新在于：一是“上下文平滑预训练（CSP）”，通过在策略输入中注入前向扩散噪声，在精确模仿与广泛动作覆盖之间建立连续谱；二是“时间步调制 RL”，允许智能体在微调过程中动态调整扩散时间步，从而实现对探索行为的显式控制。

TMRL 能够与多种输入形式（如状态、3D 点云及 VLA 策略）兼容，并在复杂的机器人操作任务中展现出极高的样本效率，在不到一小时的微调时间内即可实现真实世界的成功部署。

TMRL：扩散时间步调制预训练助力高效策略微调

作者： Matthew M. Hong, Jesse Zhang, Anusha Nagabandi, Abhishek Gupta
arXiv： 2605.12236 [cs.RO]
提交日期： 2026年5月12日 (v1), 2026年8月12日 (v2)

TMRL: Diffusion Timestep-Modulated Pretraining Enables Exploration for Efficient Policy Finetuning

Authors: Matthew M. Hong, Jesse Zhang, Anusha Nagabandi, Abhishek Gupta
arXiv: 2605.12236 [cs.RO]
Submitted: 12 May 2026 (v1), 12 Aug 2026 (v2)

摘要

利用强化学习（RL）微调预训练的机器人策略时，通常会遭遇“分布狭窄”问题：通过行为克隆（BC）预训练的策略缺乏下游探索所需的必要动作多样性。

作者引入了 TMRL（时间步调制强化学习），这是一个连接 BC 预训练与 RL 微调的统一框架。该方法包含两个关键组件： * 上下文平滑预训练（CSP）： 将前向扩散噪声注入策略输入，在精确模仿与广泛动作覆盖之间创建了一个连续谱。 * 时间步调制 RL： 训练智能体在微调过程中动态调整扩散时间步，从而对探索过程提供显式控制。

TMRL 可与多种输入（状态、3D 点云和 VLA 策略）无缝集成，并已证明能够在不到一小时的时间内，在复杂的操纵任务上实现成功的真实世界微调。

Summary

Fine-tuning pre-trained robot policies with reinforcement learning (RL) often suffers from the "narrow distribution" problem: policies pre-trained via behavioral cloning (BC) lack the necessary action diversity for effective downstream exploration.

The authors introduce TMRL (Timestep-Modulated Reinforcement Learning), a unified framework that bridges BC pre-training and RL fine-tuning. The approach features two key components: * Context-Smoothed Pre-training (CSP): Injects forward-diffusion noise into policy inputs, creating a continuum between precise imitation and broad action coverage. * Timestep-Modulated RL: Trains the agent to dynamically adjust the diffusion timestep during fine-tuning, providing explicit control over exploration.

TMRL integrates seamlessly with various inputs (states, 3D point clouds, and VLA policies) and has demonstrated the ability to achieve successful real-world fine-tuning on complex manipulation tasks in under one hour.

核心特性

  • 增强探索能力： 通过调制扩散时间步，策略可以在高精度模仿与高熵探索之间进行转换。
  • 样本效率： 显著降低了机器人策略微调所需的数据量。
  • 通用性： 兼容多种策略架构，包括基于图像的模型和 VLA（视觉-语言-动作）模型。
  • 真实世界验证： 在复杂的机器人操作任务中表现优异，并能快速收敛。

Key Features

  • Enhanced Exploration: By modulating diffusion timesteps, the policy can transition from high-precision imitation to high-entropy exploration.
  • Sample Efficiency: Significantly reduces the data requirements for fine-tuning robot policies.
  • Versatility: Compatible with diverse policy architectures, including image-based and VLA (Vision-Language-Action) models.
  • Real-World Validation: Proven performance on complex robotic manipulation tasks with rapid convergence.

资源

Resources

元数据

Metadata

license icon