文章背景与核心概要
在人类学习过程中，自我反思是一种将稀疏的结果反馈转化为可行指导的高效机制。然而，这种机制在大型语言模型（LLM）后训练阶段的潜力仍未得到充分发掘。本文介绍了一种名为“自反思策略优化”（Self-Reflective Policy Optimization，简称 SRPO）的新型框架，它将自我反思能力内化于大语言模型中，以显著提升其长视野推理能力。
SRPO 能够让大语言模型分析自身已完成的推理轨迹，将错误提炼为简洁的“反思补丁”（reflection patches），并在学生的策略内（on-policy）采样 rollout 上利用受反思条件约束的教师评分，从而生成密集的标记级（token-level）训练信号。该方法无需依赖外部评论家、独立的奖励模型或更大的教师模型，便能有效地将稀疏的终端监督转化为密集的分词级学习信号。SRPO 在 ICML 2026 上被接收，并在数学推理和智能体任务等极具挑战性的基准测试中，以极低的数据和计算资源消耗展现出了极高的训练效率与 SOTA 性能。
SRPO: Self-Reflective Policy Optimization for Long-Horizon Reasoning
Summary
Self-Reflective Policy Optimization (SRPO) is a novel post-training framework that internalizes self-reflection in Large Language Models (LLMs) to enhance long-horizon reasoning. Instead of relying on sparse outcome feedback, external critics, separate reward models, or larger teacher models, SRPO empowers LLMs to analyze their own completed trajectories, distill errors into concise "reflection patches," and generate dense, token-level training signals via reflection-conditioned teacher scores.
Accepted to ICML 2026, SRPO demonstrates exceptional data efficiency and state-of-the-art performance across challenging benchmarks (such as mathematical reasoning and agentic tasks) using only a fraction of traditional computational resources.
Self-Reflective Policy Optimization (SRPO) 是一种新颖的后训练框架，它将大语言模型（LLM）的自我反思能力内化，以增强其长视野推理（long-horizon reasoning）能力。SRPO 不依赖稀疏的结果反馈、外部评论家、独立的奖励模型或更大的教师模型，而是赋予大语言模型分析自身已完成轨迹的能力，将错误提炼为简洁的“反思补丁”（reflection patches），并通过受反思条件约束的教师评分生成密集的分词级（token-level）训练信号。
SRPO 已被 ICML 2026 接收，它在数学推理和智能体任务等具有挑战性的基准测试中展现出卓越的数据效率和 SOTA（尖端）性能，且仅消耗传统计算资源的一小部分。
Metadata
- arXiv ID: arXiv:2608.23493 [cs.AI]
- Authors: Jialong Liu, Yuling Shi, Ning Yang, Xiaodong Gu, Zuchao Li
- Submitted: August 24, 2026
- Venue: Accepted to ICML 2026
- Primary Subject: Artificial Intelligence (
cs.AI) - Code Repository: GitHub - Galleons2029/SRPO
- arXiv ID: arXiv:2608.23493 [cs.AI]
- 作者: Jialong Liu, Yuling Shi, Ning Yang, Xiaodong Gu, Zuchao Li
- 提交时间: 2026年8月24日
- 收录会议: ICML 2026 接收
- 主要学科: 人工智能 (
cs.AI)- 代码仓库: GitHub - Galleons2029/SRPO
Abstract
Self-reflection is a powerful mechanism for credit assignment in human learning, converting sparse outcome feedback into actionable guidance. However, its potential for post-training Large Language Models (LLMs) remains underexplored. We propose Self-Reflective Policy Optimization (SRPO), a framework that internalizes this capability.
SRPO enables LLMs to analyze their own completed trajectories, synthesize errors into concise "reflection patches," and use reflection-conditioned teacher scores on student on-policy rollouts as dense token-level training signals. This process effectively transforms sparse terminal supervision into dense, token-level learning signals without requiring external critics, separate reward models, or larger teacher models.
We demonstrate that SRPO achieves state-of-the-art performance across mathematical reasoning and long-horizon agentic benchmarks with exceptional data efficiency: * Using a Qwen3-8B base model, SRPO attains 73.3% on AIME'24 using only 8% (0.08x) of the training FLOPs required by scaled supervised fine-tuning. * Significantly improves success rates on complex agentic benchmarks: * WebShop: 64.7% * ALFWorld: 76.8% * SWE-Bench-Lite: 31.2%
自我反思是人类学习中进行信用分配（credit assignment）的强大机制，它能将稀疏的结果反馈转化为可操作的指导。然而，它在大语言模型（LLM）后训练中的潜力仍未得到充分探索。我们提出了 Self-Reflective Policy Optimization (SRPO)，这是一个将该能力内化的框架。
SRPO 使大语言模型能够分析自身已完成的轨迹，将错误综合成简洁的“反思补丁”，并在学生的策略内（on-policy）rollouts 上使用受反思条件约束的教师评分作为密集的分词级训练信号。该过程有效地将稀疏的终端监督转化为密集的分词级学习信号，而无需外部评论家、独立的奖励模型或更大的教师模型。
我们证明，SRPO 在数学推理和长视野智能体基准测试中以卓越的数据效率实现了最先进（SOTA）的性能： * 使用 Qwen3-8B 基础模型，SRPO 在 AIME'24 上达到了 73.3% 的准确率，而其所需的训练 FLOPs 仅为按比例缩放监督微调（scaled supervised fine-tuning）的 8% (0.08x)。 * 显著提高了复杂智能体基准测试的成功率： * WebShop: 64.7% * ALFWorld: 76.8% * SWE-Bench-Lite: 31.2%