跳转至

离线强化学习中扩散策略的噪声空间策略梯度

文章背景与核心概要

扩散策略（Diffusion Policies）为连续控制任务提供了一种强大且极具表现力的参数化方法。然而，它们与强化学习（Reinforcement Learning）的结合在概念上和算法上依然面临诸多挑战。

本文通过引入一种噪声空间动作价值（\(Q\)）函数填补了这一研究空白，该函数通过去噪过程所诱导的执行动作分布，将价值赋予扩散隐变量（latents）。作者证明了这种构建方式具备精确的语义解释，并推导出了噪声空间策略梯度（NSPG），该方法仅利用干净动作空间的价值估计来优化噪声隐变量。

基于这一成果，本文提出了一种针对噪声隐变量的 KL 正则化策略改进方案，并证明了由此产生的目标函数具有兼容扩散的回归形式，从而避免了通过去噪过程进行反向传播。在基于状态的 D4RL 基准测试和基于视觉的 OGBench 任务上的实证结果表明，所提出的噪声空间目标函数为在离线强化学习中训练扩散策略提供了一个有原则且高效的基础。

概述与总结

Paper Title: Noisy-Space Policy Gradient for Diffusion Policies in Offline Reinforcement Learning
Authors: Mahmoud Selim, Cristina Cipriani, Karl H. Johansson
Published: Accepted at the 43rd International Conference on Machine Learning (ICML 2026)
Primary Subject: Machine Learning (cs.LG), with cross-listings in Artificial Intelligence (cs.AI) and Robotics (cs.RO)
Links: * arXiv:2609.06882 * View PDF * Project Webpage

摘要

扩散策略为连续控制提供了一个强大且富有表现力的参数化方案。然而，它们与强化学习的结合在概念和算法上仍然具有挑战性。

Abstract

Diffusion policies offer a powerful and expressive parameterization for continuous control. Yet, their integration with reinforcement learning remains conceptually and algorithmically challenging.

这项工作通过引入一个噪声空间动作价值（\(Q\)）函数来解决这一空白，该函数通过去噪过程诱导的执行动作分布，将价值分配给扩散隐变量。作者证明了这种构建具有精确的语义解释，并推导出了一个噪声空间策略梯度（NSPG），它仅使用干净动作空间的价值估计来优化噪声隐变量。

This work addresses this gap by introducing a noisy-space action-value (\(Q\)-)function that assigns values to diffusion latents through the distribution of executed actions induced by the denoising process. The authors demonstrate that this construction admits a precise semantic interpretation and derive a noisy-space policy gradient (NSPG) that optimizes noisy latents using only clean action-space value estimates.

在此结果的基础上，本文构建了对噪声隐变量的 KL 正则化策略改进，表明由此产生的目标函数具有扩散兼容的回归形式，并避免了通过去噪过程的反向传播。基于状态的 D4RL 基准测试和基于视觉的 OGBench 任务上的经验结果确立了所提出的噪声空间目标为离线强化学习中训练扩散策略提供了一个有原则且有效的基石。

Building on this result, the paper formulates a KL-regularized policy improvement over noisy latents, showing that the resulting objective admits a diffusion-compatible regression form and avoids backpropagation through the denoising process. Empirical results on state-based D4RL benchmarks and vision-based OGBench tasks establish that the proposed noisy-space objective offers a principled and effective foundation for training diffusion policies in offline reinforcement learning.

附加信息

Additional Information