跳转至

文章背景与核心概要

在大语言模型（LLM）的强化学习（RL）训练中，异步架构下的高效训练往往依赖于解耦近端策略优化（Decoupled PPO）。虽然解耦损失通过将离策略修正与策略更新约束分离提升了学习稳定性，但它传统上需要在每个训练步骤中对模型进行额外的正向传播，从而造成了巨大的计算瓶颈。

为了克服这一难题，作者推出了 A-3PO（Approximated Proximal Policy Optimization，近似近端策略优化）。通过认识到近端策略本质上仅充当信赖域锚点，A-3PO 通过简单的插值而非显式计算来对其进行近似。这一创新消除了计算开销，在保持相当性能的同时，实现了 1.8倍的训练加速。

A-3PO：利用感知陈旧性的近端策略近似加速异步大模型训练

A-3PO: Accelerating Asynchronous LLM Training with Staleness-aware Proximal Policy Approximation

摘要

Summary

在异步强化学习（RL）设置下，解耦近端策略优化（Decoupled PPO）一直是应对高数据陈旧性的成功强化学习算法。解耦 PPO 中使用的解耦损失通过引入一个近端策略，将离策略修正（重要性权重）与策略更新约束（信赖域）分离，从而改善了传统耦合损失风格算法（如标准 PPO、GRPO）的学习稳定性。然而，近端策略在每个训练步骤中都需要通过模型进行额外的正向传播，这给大语言模型训练带来了计算开销。我们观察到，由于近端策略仅充当行为策略和目标策略之间的信赖域锚点，我们可以通过简单的插值来近似它，而无需进行显式计算。我们将这种方法称为 A-3PO（Approximated Proximal Policy Optimization，近似近端策略优化）。A-3PO 消除了这一开销，在保持可比性能的同时，将训练速度提升了 1.8 倍。

论文元数据

Paper Metadata

  • arXiv ID: arXiv:2512.06547 [cs.LG]
  • 作者: Xiaocan Li, Shiliang Wu, Zheng Shen
    • Authors: Xiaocan Li, Shiliang Wu, Zheng Shen
  • 主学科: 机器学习 (cs.LG)
    • Primary Subject: Machine Learning (cs.LG)
  • 其他学科: 人工智能 (cs.AI)；分布式、并行与集群计算 (cs.DC)
    • Other Subjects: Artificial Intelligence (cs.AI); Distributed, Parallel, and Cluster Computing (cs.DC)
  • 提交时间: 2025年12月6日；最后修订: 2026年8月12日 (v4)
    • Submitted: December 6, 2025; Last Revised: August 12, 2026 (v4)
  • 许可证: 知识共享 署名-非商业性使用-相同方式共享 4.0 国际 <img alt="license icon" role="presentation" src=".././images/079cd8198ba3.png"><span>view license</span>

摘要 (原文对照)

Abstract

解耦 PPO 一直是处理异步强化学习设置下高数据陈旧性的成功强化学习 (RL) 算法。解耦 PPO 中使用的解耦损失通过引入近端策略来解耦离策略修正（重要性权重）与策略更新约束（信赖域），从而改善了耦合损失风格的算法（例如标准 PPO、GRPO）的学习稳定性。然而，近端策略需要在每个训练步骤中对模型进行额外的正向传播，这为大语言模型训练造成了计算开销。我们观察到，由于近端策略仅作为行为策略和目标策略之间的信赖域锚点，我们可以通过简单的插值来近似它，而无需显式计算。我们将这种方法称为 A-3PO（近似近端策略优化）。A-3PO 消除了这种开销，在保持相当性能的同时，将训练速度加快了 1.8 倍。

Decoupled PPO has been a successful reinforcement learning (RL) algorithm to deal with the high data staleness under the asynchronous RL setting. Decoupled loss used in decoupled PPO improves coupled-loss style of algorithms' (e.g., standard PPO, GRPO) learning stability by introducing a proximal policy to decouple the off-policy correction (importance weight) from the policy update constraint (trust region). However, the proximal policy requires an extra forward pass through the model at each training step, creating a computational overhead for large language models training. We observe that since the proximal policy only serves as a trust region anchor between the behavior and target policies, we can approximate it through simple interpolation without explicit computation. We call this approach A-3PO (APproximated Proximal Policy Optimization). A-3PO eliminates this overhead, accelerating training by 1.8x speedup while maintaining comparable performance.

资源与链接