跳转至

基于值函数的强化学习中批归一化前向模式的研究

文章背景与核心概要

批归一化（Batch Normalization, BN）在诸如 CrossQ 等连续控制 Actor-Critic 算法中极大地提升了样本效率，但长期以来，它在离散动作值函数学习任务（如 Atari 游戏）中往往会导致性能下降。这种现象出人意料，因为离散 Q 网络并不存在类似 CrossQ 那样严重的动作输入分布不匹配问题。

本文深入探讨了在特定前向传播过程中，选择运行统计量（running statistics）还是批统计量（batch statistics）能够彻底扭转这种性能退化。实验表明，对于 C51（基于目标网络）算法，将 BN 的引导（bootstrap）前向传播切换为批统计量模式，其性能显著优于未归一化和 LayerNorm 基线，并且在高达 12 的更新数据比（update-to-data ratio）下仍能保持稳定缩放；对于 PQN（无目标网络）算法，在动作选择和引导阶段均采用批统计量，成功恢复了原本使用运行统计量时失效的性能。在涵盖 400M 帧的 26 款 Atari 游戏评估中，该配置实现了比搭配 LayerNorm 的 PQN 更高的最终综合得分。

综上所述，作者证明了正确配置批归一化前向协议是离散动作基于值函数的强化学习算法中的关键组成部分。

概述与元数据

总结

Batch normalization (BN) greatly enhances sample efficiency in continuous-control actor-critic algorithms like CrossQ, but has historically caused performance drops in discrete-action value learning tasks (such as on Atari). This is unexpected because discrete Q-networks do not suffer from the action-input distribution mismatch typical of CrossQ.

批归一化（BN）在诸如 CrossQ 等连续控制 Actor-Critic 算法中极大地提升了样本效率，但长期以来，它在离散动作值函数学习任务（如 Atari）中往往会导致性能下降。这种现象出人意料，因为离散 Q 网络并不存在类似 CrossQ 那样严重的动作输入分布不匹配问题。

This paper demonstrates that the choice between running statistics and batch statistics during specific forward passes can completely reverse this degradation: * C51 (Target-Based): Switching the BN bootstrap forward pass to batch-statistic mode significantly outperforms unnormalized and LayerNorm baselines, scaling stably with update-to-data ratios up to 12. * PQN (Target-Free): Utilizing batch statistics for both action selection and bootstrapping successfully recovers performance from failing running-statistic configurations. Across 26 Atari games evaluated over 400M frames, this setup achieves a higher final aggregate score than PQN paired with LayerNorm.

本文证明，在特定前向传播过程中，选择运行统计量与批统计量可以完全逆转这种性能退化： * C51（基于目标网络）： 将 BN 引导前向传播切换为批统计量模式，其性能显著优于未归一化和 LayerNorm 基线，并且在高达 12 的更新数据比下保持稳定缩放。 * PQN（无目标网络）： 在动作选择和引导阶段均采用批统计量，成功使原本由于运行统计量配置而失效的性能得以恢复。在 26 款 Atari 游戏经 400M 帧评估后，该设置实现了比搭配 LayerNorm 的 PQN 更高的最终综合得分。

Ultimately, the authors show that properly configured batch normalization forward protocols are critical components of discrete-action value-based reinforcement learning algorithms.

最终，作者表明正确配置的批归一化前向协议是离散动作基于值函数的强化学习算法的关键组成部分。

链接与资源