跳转至

PlanPO：面向多轮智能体大语言模型的群组规划感知策略优化

文章背景与核心概要

在多轮交互任务中训练智能体大语言模型（LLM）时，群组相对策略优化（Group-relative Policy Optimization）已成为一种关键范式。然而，传统的群组相对策略优化方法往往将所有成功的轨迹等同对待，导致在处理迂回路径时出现优势崩溃（advantage collapse）现象。为此，本文提出了 PlanPO（群组规划感知策略优化），这是一种旨在增强智能体大语言模型多轮交互规划和文本生成能力的新型强化学习方法。

PlanPO 的核心创新在于引入了从粗到细的优势信号（coarse-to-fine advantage signals）。这些信号通过测量成功采样轨迹之间的相对轨迹长度差异以及轮次级响应长度差异，解决了传统方法无法区分交互效率差异的问题。在不陷入单纯长度最小化的前提下，该方法使智能体能够从高质量的 rollout 中主动学习涵盖交互规划和文本生成的泛化且深思熟虑的行为。在 ALFWorld、WebShop 和 SciWorld 等极具挑战性的多轮基准测试上的实验表明，PlanPO 的性能平均超越 GRPO 达 27.2%，并且以极低的训练开销超越了现有的强大基线模型。

📝 总结 (Summary)

PlanPO (Group Planning-Aware Policy Optimization) 是一种旨在增强智能体大语言模型（LLM）多轮交互规划和文本生成能力的强化学习方法。传统的群组相对策略优化方法将所有成功的轨迹同等对待（在处理迂回路径时往往会导致优势崩溃），而 PlanPO 则引入了从粗到细的优势信号。这些信号能够衡量成功 rollout 之间相对的轨迹长度差异以及轮次级别的响应长度差异。在 ALFWorld、WebShop 和 SciWorld 等极具挑战性的多轮基准测试中进行评估时，PlanPO 的平均性能比 GRPO 提升了 27.2%，在带来可忽略不计的训练开销的同时，性能超越了强大的基线模型。

PlanPO (Group Planning-Aware Policy Optimization) is a reinforcement learning method designed to enhance the multi-turn interaction planning and text generation capabilities of agentic Large Language Models (LLMs). While traditional group-relative policy optimization methods treat all successful trajectories equally (often causing advantage collapse when dealing with circuitous paths), PlanPO introduces coarse-to-fine advantage signals. These signals measure relative differences in trajectory lengths and turn-level response lengths among successful rollouts. Evaluated on challenging multi-turn benchmarks—ALFWorld, WebShop, and SciWorld—PlanPO improves performance over GRPO by 27.2% on average, outperforming powerful baselines with negligible training overhead.

📌 论文概览 (Paper Overview)

  • 标题： PlanPO: Group Planning-Aware Policy Optimization for Multi-Turn Agentic LLMs
  • 作者： Dayang Liang, Liyuan He, Xuan Feng, Shuxin Li, Bo An, Yunlong Liu
  • 主要学科： 人工智能 (cs.AI)
  • 提交时间： 2026年8月18日
  • arXiv ID： 2608.17289 [cs.AI]
  • DOI： 10.48550/arXiv.2608.17289
  • Title: PlanPO: Group Planning-Aware Policy Optimization for Multi-Turn Agentic LLMs
  • Authors: Dayang Liang, Liyuan He, Xuan Feng, Shuxin Li, Bo An, Yunlong Liu
  • Primary Subject: Artificial Intelligence (cs.AI)
  • Submitted: August 18, 2026
  • arXiv ID: 2608.17289 [cs.AI]
  • DOI: 10.48550/arXiv.2608.17289

🔍 摘要 (Abstract)

群组相对策略优化已成为在多轮交互任务中训练智能体大语言模型（LLM）的关键范式。然而，大多数现有变体即使在成功轨迹的交互效率存在显著差异时，也无法区分这些轨迹的优势。例如，迂回的成功轨迹往往被赋予相同的结局奖励，从而导致优势崩溃和严重的性能瓶颈。

为此，我们提出了群组规划感知策略优化（Group Planning-aware Policy Optimization，简称 PlanPO），这是一种简单而有效的强化学习方法，用于学习超越任务特定高质量行为模式的泛化规划能力。具体而言，PlanPO 引入了从粗到细的优势信号，这些信号能够捕获针对同一任务采样的成功轨迹中，轨迹级长度和轮次级响应长度的相对差异。在群组相对优化结构内，这使得智能体能够从高质量的 rollout 中积极学习涵盖交互规划和文本生成的泛化且深思熟虑的行为，而不会退化为朴素的长度最小化。

实验表明，在更具挑战性的多轮基准测试 ALFWorld、WebShop 和 SciWorld 上，PlanPO 的平均性能比 GRPO 提升了 27.2%，在产生可忽略不计的额外训练成本的同时，优于近期强大的基线模型。

Group-relative policy optimization has emerged as a key paradigm for training agentic large language models (LLMs) on multi-turn interactive tasks. However, most existing variants fail to distinguish advantages among successful trajectories even when these trajectories differ substantially in their interaction efficiency. For instance, circuitous successes are often assigned the identical outcome reward, causing advantage collapse and severe performance bottlenecks.

To this end, we propose Group Planning-aware Policy Optimization (PlanPO), a simple yet effective RL method for learning generalizable planning abilities beyond task-specific high-quality behavior patterns. Specifically, PlanPO introduces coarse-to-fine advantage signals, which capture the relative differences in trajectory-level lengths and turn-level response lengths conditioned on successful trajectories sampled for the same task. Within the group-relative optimization structure, this enables agents to actively learn generalizable and deliberate behaviors spanning interaction planning and textual generation from high-quality rollouts, without degenerating into vanilla length minimization.

Experimentally, PlanPO improves over GRPO by 27.2% on average across the challenging multi-turn benchmarks ALFWorld, WebShop, and SciWorld, outperforming recent powerful baselines while incurring negligible additional training cost.

许可协议 (License)： license icon 查看许可协议 (知识共享署名 4.0 国际)