跳转至

文章背景与核心概要

当前的推理大语言模型（通过强化学习训练）在生成过程中通常采用固定的Token预算，这往往导致在简单任务上浪费算力，而在复杂任务上处理不足。为了解决这一痛点，本文提出了一种创新的自适应推理框架，使模型能够根据问题难度动态分配测试时计算资源。

该方法的核心在于让模型在响应的第一个Token处自主选择三种模式之一：NoThink（最快）、Short（简短推理）以及Long（深度推理）。通过结合群组相对策略优化（GRPO）、特制的塑形奖励函数（shaped reward）以及严格的每种模式Token上限，模型无需额外的独立路由组件，便能学会根据任务难度智能分流。实验表明，在1.5B的蒸馏模型上，该方法不仅大幅降低了计算开销（在MATH500上减少了41%的Token消耗，同时保持了极高的准确率），还能在无需重新训练的情况下零样本迁移至其他基准测试（如GSM8K上实现高达76%的Token削减），为大模型的高效推理开辟了新途径。

学会何时思考：用于测试时计算分配的自适应推理 (Learning When to Think: Adaptive Reasoning for Test-Time Compute Allocation)

作者： Gijs Kassenaar, Zhao Yang, Vincent François-Lavet
主要领域： 人工智能 (cs.AI)
arXiv 标识符： arXiv:2608.20256 [cs.AI]
提交历史： * [v1] 2026年8月20日星期四 * [v2] 2026年8月21日星期五 (最后修订)

📌 摘要 (Summary)

通过强化学习训练的推理语言模型通常在固定的Token预算下运行，而不是显式自适应的预算，这容易导致在简单问题上过度计算，而在困难问题上计算不足。本文研究了一个模型是否能够通过在响应的第一个Token中选择以下三种模式之一来学习分配自身的推理工作量：NoThink（尽可能快地回答）、Short（简短推理）或Long（扩展推理）。这种选择是在群组相对策略优化（GRPO）内部学习的，无需单独的路由器，通过一种塑形奖励使每种模式在不同的响应长度下都具有价值，并结合严格的每种模式Token上限来保持不同模式的区隔。在一个在MATH上训练的1.5B蒸馏模型上，这三种模式得以涌现而没有坍缩为单一选择，并且简短模式最终比 Long 更准确，这表明路由器是按难度而不是随机对问题进行分类的。在三个随机种子取平均后，所得到的策略在保留的 MATH500 测试集上的准确率保持接近基础模型（\(0.782\) 对比 \(0.796\)），同时将平均响应长度从 \(4{,}796\) 减少到 \(2{,}811\) 个 Token（减少了 \(41\%\)）。有趣的是，它无需重新训练即可迁移到其他基准测试中，在问题较简单的场景下节省效果最显著，例如在 GSM8K 上减少了 76% 的 Token，且在相似的响应长度下精度优于基线。简而言之，我们构建了一个能够针对每个问题自适应选择推理深度的推理模型。

Reasoning language models trained with reinforcement learning typically operate under a fixed token budget rather than an explicitly adaptive one, which can lead to over-computation on easy problems and insufficient computation on difficult ones. We study whether a model can learn to allocate its own reasoning effort by choosing, as the first token of its response, one of three modes: \textsc{NoThink} (answer as quickly as possible), \textsc{Short} (brief reasoning), or \textsc{Long} (extended reasoning). The choice is learned inside Group Relative Policy Optimization (GRPO) with no separate router, through a shaped reward that makes each mode worthwhile at a different response length, together with hard per-mode token caps that keep the modes distinct. On a 1.5B distilled model trained on MATH, the three modes emerge without collapsing to a single choice, and the brief modes end up more accurate than \textsc{Long}, which shows that the router sorts problems by difficulty rather than at random. Averaged over three seeds, the resulting policy stays close to the base model's accuracy on the held-out MATH500 (\(0.782\) vs.\ \(0.796\)) while cutting the mean response length from \(4{,}796\) to \(2{,}811\) tokens (a \(41\%\) reduction). Interestingly, it also transfers to other benchmarks without retraining, with the largest savings where problems are easier, with for instance 76% token reduction on GSM8K and at higher accuracy than the baselines at similar response length. In short, we build a reasoning model that adaptively chooses how much to reason for each problem.

📖 摘要（原版对照） / 核心发现与性能亮点 (Key Findings & Performance Highlights)

  • 自适应路由： 模型成功学会了使用三种不同的响应模式，而没有坍缩为统一的策略。

    • Adaptive Routing: The model successfully learns to use three distinct response modes without collapsing into a uniform strategy.

  • 效率提升： 在保留的 MATH500 数据集上进行评估时，自适应策略实现了接近基线的准确率（\(0.782\) 对比 \(0.796\)），同时将平均响应长度大幅缩减了 41%（从 4,796 降至 2,811 个 Token）。

    • Efficiency Gains: Evaluated on the held-out MATH500 dataset, the adaptive policy achieved near-baseline accuracy (\(0.782\) vs. \(0.796\)) while slashing the mean response length by 41% (from 4,796 to 2,811 tokens).

  • 零样本泛化： 模型在无需重新训练的情况下可无缝迁移至诸如 GSM8K 的未见基准测试中，在保持高准确率的同时带来了高达 76% 的 Token 削减。

    • Zero-Shot Generalization: The model transfers seamlessly to unseen benchmarks like GSM8K without retraining, yielding a massive 76% token reduction while maintaining high accuracy.