跳转至

摆脱冗余推理：面向推理阶段大语言模型的结构感知搜索

文章背景与核心概要

在使用大语言模型（LLM）进行推理阶段搜索时，往往会面临“推理盆地坍缩”（reasoning basin collapse）的问题。这是一种失效模式，即搜索过程过度集中于一小组结构或语义相似的轨迹上，导致其他可行替代方案未得到充分探索。

为了克服这一难题，本文引入了 BASIN 这一无需训练的结构感知选择方法。BASIN 将推理状态划分为不同的“盆地”（basins），并对重复访问相同策略的行为进行惩罚，从而确保在固定的计算预算下，搜索资源能够重新分配到真正截然不同的推理路径上。其质量感知变体 QA-BASIN 则通过保留高质量的推理盆地，进一步增强了鲁棒性。此外，作者还引入了冗余差距（\(\Delta\)）来量化正确预测与错误预测之间搜索集中度的差异，并证明了 BASIN 如何成功将 \(\Delta\) 转化为正值。

摘要 (Abstract)

Inference-time search with large language models (LLMs) often concentrates on a small set of structurally or semantically similar trajectories, leaving alternatives underexplored—a failure mode we call reasoning basin collapse. We introduce BASIN, a training-free, structure-aware selection method that groups reasoning states into basins and penalizes repeated visits to the same strategy, thereby reallocating search across genuinely distinct reasoning paths under a fixed compute budget. Under matched inference budgets, BASIN improves over Tree of Thoughts (ToT) by up to \(+22\)pp on Game of 24 and \(+6.7\)pp on MuSR. A quality-aware variant, QA-BASIN, further improves robustness by preserving high-quality basins when unconditional diversification over-explores. To explain when basin-aware selection helps, we introduce the redundancy gap \(\Delta\), which measures how differently search concentrates for correct versus incorrect predictions: standard ToT often operates near \(\Delta \approx 0\), while BASIN consistently shifts \(\Delta\) positive. More broadly, BASIN suggests structure-aware selection as a simple and general approach to improving inference-time reasoning.

使用大语言模型（LLM）进行的推理阶段搜索常常集中于一小组合成或语义相似的轨迹，使得其他替代方案未被充分探索——我们将这种失效模式称为推理盆地坍缩（reasoning basin collapse）。为此，我们引入了 BASIN，这是一种无需训练的结构感知选择方法，它将推理状态分组为盆地，并对重复访问相同策略的行为进行惩罚，从而在固定的计算预算下，将搜索重新分配到真正独特的推理路径上。在匹配的推理预算下，在 Game of 24 基准测试中，BASIN 相比思维树（ToT）提升高达 \(+22\)个百分点（pp），在 MuSR 上提升高达 \(+6.7\)pp。其质量感知变体 QA-BASIN 在无条件多样化过度探索时，通过保留高质量盆地进一步增强了鲁棒性。为了解释盆地感知选择在何时发挥作用，我们引入了冗余差距 \(\Delta\)，它用于衡量正确预测与错误预测在搜索集中度上的差异：标准的 ToT 通常运行在 \(\Delta \approx 0\) 附近，而 BASIN 则持续将 \(\Delta\) 转化为正值。从更广泛的意义上讲，BASIN 表明结构感知选择是一种改善推理阶段推理的简单且通用的方法。

元数据 (Metadata)

核心贡献与结果 (Key Contributions & Results)

  • BASIN Algorithm: A novel, training-free, structure-aware selection mechanism designed to prevent reasoning basin collapse during inference-time LLM search.
  • QA-BASIN: An extension of the method that is quality-aware, preventing over-exploration by safeguarding high-performing reasoning paths.
  • Empirical Gains:
  • Up to \(+22\text{pp}\) improvement over Tree of Thoughts (ToT) on the Game of 24 benchmark.
  • Up to \(+6.7\text{pp}\) improvement on MuSR.
  • The Redundancy Gap (\(\Delta\)): A proposed metric analyzing search concentration behavior for correct versus incorrect model outputs.
  • BASIN 算法： 一种新颖的、无需训练的结构感知选择机制，旨在防止 LLM 推理阶段搜索过程中的推理盆地坍缩。
  • QA-BASIN： 该方法的质量感知扩展，通过保护高性能的推理路径来防止过度探索。
  • 实验增益：
  • 在 Game of 24 基准测试中，相比思维树（ToT）提升高达 \(+22\text{pp}\)。
  • 在 MuSR 上提升高达 \(+6.7\text{pp}\)。
  • 冗余差距（\(\Delta\)）： 提出了一种分析模型正确输出与错误输出搜索集中度行为的指标。
license icon 查看许可协议