跳转至

文章背景与核心概要

在大语言模型（LLM）的推理任务中，测试时扩展（Test-time scaling）通过分配更多的推理计算资源，已成为提升模型性能的主流方法。然而，单纯依赖更广泛的采样往往会导致收益递减，因为新生成的轨迹往往会重复现有的答案模式，而无法引入真正的推理多样性。同时，基于验证器的选择方法也高度依赖于外部奖励模型的校准精度。

为了克服这些局限性，本文作者提出了一种无需验证器的“广度-深度精炼框架”（verifier-free breadth–depth refinement framework）。该方法通过结构化的流水线，利用测试时计算来探索和改进候选解决方案：首先通过广度探索采样多个独立的推理轨迹以保持多样性；其次通过深度精炼利用迭代自评与自我修正修复局部推理错误；最后通过多数投票聚合精炼后的答案。在多个开源模型及主流基准测试（如 AIME24、AIME25、AMC、OlympiadBench 和 MATH500）上的实验表明，该方法显著优于标准的贪婪解码、多数投票及验证器选择等基线方法。

Refining Over Resampling: Test-Time Self-Correction for LLM Reasoning

arXiv ID: 2608.05643
Subjects: Artificial Intelligence (cs.AI); Computation and Language (cs.CL)
Submitted: August 6, 2026 (Submitted to EMNLP 2026)
Authors: Ahsan Bilal, Muhammad Ahmed Mohsin, Muhammad Umer, Lena Trigg, Ali Subhan, Muhammad Ali, Dean F. Hougen

📋 Summary

测试时扩展是提升大语言模型（LLM）推理能力的一种流行方法，它通过分配额外的推理计算资源来实现。然而，仅仅依赖更广泛的采样往往会导致收益递减，因为新的生成轨迹倾向于重复现有的答案模式，而不是引入真正的推理多样性。此外，基于验证器的选择则高度依赖于外部奖励模型的校准。

arXiv ID: 2608.05643
Subjects: Artificial Intelligence (cs.AI); Computation and Language (cs.CL)
Submitted: August 6, 2026 (Submitted to EMNLP 2026)
Authors: Ahsan Bilal, Muhammad Ahmed Mohsin, Muhammad Umer, Lena Trigg, Ali Subhan, Muhammad Ali, Dean F. Hougen

📋 摘要

为了克服这些局限性，作者提出了一种无需验证器的广度-深度精炼框架。该方法利用测试时计算，通过以下结构化流水线来探索和改进候选解决方案： 1. 广度（探索）： 采样多个独立的推理轨迹，以保留多样化的初始尝试。 2. 深度（精炼）： 通过迭代自评和自我修正，修复每个轨迹中的局部推理错误。 3. 聚合： 使用多数投票法将精炼后的答案进行组合。

To overcome these limitations, the authors propose a verifier-free breadth–depth refinement framework. This method uses test-time compute to both explore and improve candidate solutions through a structured pipeline: 1. Breadth (Exploration): Sample multiple independent reasoning rollouts to preserve diverse initial attempts. 2. Depth (Refinement): Repair local reasoning errors in each rollout via iterative self-critique and self-correction. 3. Aggregation: Combine the refined answers using majority voting.

🔍 Key Results

在对包括 AIME24、AIME25、AMC、OlympiadBench 和 MATH500 在内的基准数据集进行严格评估时，所提出的框架在多个开源权重模型上，始终表现得优于标准方法（如贪婪解码、多数投票、基于验证器的 \(N\) 选最优、束搜索以及前瞻解码）。

Across rigorous evaluations on benchmark datasets—including AIME24, AIME25, AMC, OlympiadBench, and MATH500—the proposed framework consistently outperforms standard methods such as greedy decoding, majority voting, verifier-based best-of-\(N\), beam search, and lookahead decoding across multiple open-weight models.

  • MATH500（使用 Qwen2.5-1.5B）： 准确率从最强的基于验证器的基线提升至 \(58.0\%\)。

  • AMC（使用 Qwen2.5-1.5B）： 准确率从 \(25.0\%\) 跃升至 \(32.5\%\)。

  • MATH500 (using Qwen2.5-1.5B): Accuracy increases from the strongest verifier-based baseline to \(58.0\%\).

  • AMC (using Qwen2.5-1.5B): Accuracy jumps from \(25.0\%\) to \(32.5\%\).

这些发现表明，将测试时计算分配给精炼采样轨迹，比单纯生成更多候选或完全依赖验证器引导的选择能带来显著更好的性能。

These findings demonstrate that allocating test-time compute toward refining sampled trajectories yields significantly better performance than simply generating more candidates or depending entirely on verifier-guided selection.

📚 Citations & External Tools