跳转至

强化大语言模型中步骤级推理以实现高效自我纠错

文章背景与核心概要

大语言模型（LLM）在面对复杂推理任务时，如何自主发现并纠正自身的错误（即自我纠错与错误验证）一直是一个根本性的挑战。现有模型往往缺乏可靠的步骤级监控能力，导致纠错过程低效甚至适得其反。为了克服这一限制，本文作者提出了一种名为 Self-Fix Step-DPO (SFS-DPO) 的新型两阶段强化学习框架，旨在全面提升大语言模型的步骤级自我验证与自我纠错能力。

该研究的核心技术分为两个阶段：第一阶段通过步骤级偏好优化（step-level preference optimization）来强化模型的步骤级推理能力；第二阶段则显式地训练模型进行自我验证和错误修正。此外，研究团队还引入了教师辅助变体 SFS-DPO-R，通过在错误验证中加入解释性理由（explanatory rationales），从而提供更强有力的纠正信号。在多个域内（in-domain）和大模型（out-of-domain）上的广泛评估表明，SFS-DPO 及其变体显著优于现有的步骤级基线方法，大幅提升了模型自我纠错的频率与有效性。

📋 摘要 (Summary)

本文于2026年8月12日提交至 arXiv，针对大语言模型（LLM）中的一个基础性局限——实现有效的自我纠错与错误验证的挑战，提出了一种创新的解决方案。作者提出了 Self-Fix Step-DPO (SFS-DPO)，这是一个基于强化学习的两阶段框架，专为提升步骤级自我验证和自我纠错而设计。

该研究的主要亮点包括： * 第一阶段： 利用步骤级偏好优化来增强步骤级推理。 * 第二阶段： 显式训练模型进行自我验证和纠错。 * SFS-DPO-R（教师辅助变体）： 结合了解释错误验证的推理依据，以提供更强的纠错信号。 * 实验结果： 跨多个 LLM（涵盖域内和域外）的大量评估表明，所提出的方法优于现有的步骤级基线，显著提高了模型自我纠错的频率和有效性。

This paper, submitted to arXiv on August 12, 2026, addresses a fundamental limitation in Large Language Models (LLMs): the challenge of effective self-correction and error verification. The authors propose Self-Fix Step-DPO (SFS-DPO), a novel two-stage reinforcement learning framework designed to improve step-level self-verification and self-correction.

Key highlights of the research include: * Stage 1: Strengthens step-level reasoning using step-level preference optimization. * Stage 2: Trains models explicitly to self-verify and self-correct. * SFS-DPO-R (Teacher-Assisted Variant): Incorporates explanatory rationales for error verification to deliver stronger corrective signals. * Results: Extensive evaluations across multiple LLMs (both in-domain and out-of-domain) show that the proposed methods outperform existing step-level baseline, significantly increasing both the frequency and effectiveness of model self-correction.

📄 元数据与出版详情 (Metadata & Publication Details)

  • arXiv 标识符： arXiv:2608.11573 [cs.CL]
  • 主要学科： 计算与语言 (cs.CL)
  • 次要学科： 人工智能 (cs.AI)
  • 提交日期： 2026年8月12日
  • 作者：
  • Vu Duc Anh
  • Nhat M. Hoang
  • Do Xuan Long
  • Cong-Duy Nguyen
  • Ponhvoan Srey

  • Luu Anh Tuan

  • arXiv Identifier: arXiv:2608.11573 [cs.CL]

  • Primary Subject: Computation and Language (cs.CL)
  • Secondary Subject: Artificial Intelligence (cs.AI)
  • Submission Date: August 12, 2026
  • Authors:
  • Vu Duc Anh
  • Nhat M. Hoang
  • Do Xuan Long
  • Cong-Duy Nguyen
  • Ponhvoan Srey
  • Luu Anh Tuan

📝 摘要全文 (Abstract)

实现有效的自我纠错（即模型能够验证并纠正自身的错误）对大语言模型（LLM）而言仍然是一个根本性的挑战。在这项工作中，我们提出了 Self-Fix Step-DPO (SFS-DPO)，这是一个基于强化学习的两阶段框架，用于实现步骤级的自我验证和自我纠错。第一阶段通过步骤级偏好优化来增强步骤级推理，而第二阶段则显式训练模型进行自我验证和自我纠错。我们进一步引入了一种教师辅助变体 SFS-DPO-R，它结合了错误验证的解释性理由，以提供更强的纠错信号。在多个 LLM 上进行的综合域内和域外评估表明，SFS-DPO 和 SFS-DPO-R 始终优于先前的步骤级训练基线。我们的分析进一步揭示了自我纠错频率和有效性的提升，凸显了强化步骤级推理对于实现鲁棒性能的重要性。

Achieving effective self-correction, where models verify and correct their own mistakes, remains a fundamental challenge for large language models (LLMs). In this work, we propose Self-Fix Step-DPO (SFS-DPO), a reinforcement learning based, two-stage framework for step-level self-verification and self-correction. The first stage strengthens step-level reasoning via step-level preference optimization, while the second stage explicitly trains models to self-verify and self-correct. We further introduce a teacher-assisted variant, SFS-DPO-R, which incorporates explanatory rationales for error verification to provide stronger corrective signals. Comprehensive in-domain and out-of-domain evaluations across multiple LLMs demonstrate that SFS-DPO and SFS-DPO-R consistently outperform prior step-level training baselines. Our analysis further reveals improvements in self-correction frequency and effectiveness, highlighting the importance of strengthening step-level reasoning for robust performance.

📚 引用与外部工具 (Citations & External Tools)