跳转至

文章背景与核心概要

本文探讨了如何通过集成外部计算器工具来提升大语言模型（LLM）的数学推理能力，并在经典数字游戏（Countdown任务）上进行了深入评估。研究发现，计算错误是大语言模型在数学推理中产生错误的主要原因之一。为此，作者通过构建监督微调（SFT）数据集来教导模型掌握高效的工具使用模式及如何解析工具返回的结果。

在此基础上，研究团队应用了多种在线策略强化学习（On-policy RL）方法（包括RLOO、RLOO++, GRPO和DAPO），并利用可自动验证的最终答案奖励进行模型训练。为了确保评估的严谨性，作者创建了一个包含 1,024 道题目的全新独立测试集，且与训练数据无任何重合。实验结果表明，集成计算器工具能使SFT和RL基准模型的性能在 pass@k 指标上普遍提升约 10 个百分点；其中 Tool-DAPO 表现最强，将 pass@1 从 Tool-SFT 的 35.8% 大幅提升至 66.0%。这证明了即使仅提供最终答案奖励，强化学习也能有效促使模型更高效地使用工具，并增加正确推理路径的概率。

Learning to Use Tools: Reinforcement Learning for Tool-Integrated Mathematical Reasoning

Authors: Minghui Xu, Zi Wang
Subjects: Artificial Intelligence (cs.AI)
arXiv ID: arXiv:2608.28447 [cs.AI]
Submitted: August 28, 2026

📌 Executive Summary

本文研究了如何通过集成外部计算器工具来增强大语言模型（LLM）的数学推理能力，并在 Countdown任务 上进行了专项评估。

This paper investigates how to improve the mathematical reasoning capabilities of large language models (LLMs) through external calculator tool integration, specifically evaluated on the Countdown task.

Key Findings & Contributions:

  • 错误分析： 作者发现，计算错误占了大语言模型在数学推理中错误回答的很大一部分。
    • Error Analysis: The authors found that calculation errors account for a significant portion of incorrect responses in LLM mathematical reasoning.
  • 监督微调（SFT）： 构建了数据集，以教导模型掌握有效的工具使用模式以及如何解读工具输出。
    • Supervised Fine-Tuning (SFT): Constructed datasets to teach models effective tool-use patterns and how to interpret tool outputs.
  • 强化学习（RL）： 应用了在线策略强化学习方法（RLOO、RLOO++、GRPO 和 DAPO），并使用可自动验证的最终答案奖励。
    • Reinforcement Learning (RL): Applied on-policy RL methods (RLOO, RLOO++, GRPO, and DAPO) using automatically verifiable final-answer rewards.
  • 全新基准测试： 创建了一个全新的、独立的 1,024道题的 Countdown 基准测试，与训练数据没有完全重合，以确保评估的严谨性。
    • New Benchmark: Created a fresh, held-out 1,024-problem Countdown benchmark with zero exact overlap with the training data to ensure rigorous evaluation.
  • 性能提升：
  • 计算器工具的集成在各个 pass@k 指标上，使 SFT 和 RL 基准模型稳定提升了大约 10 个百分点。
  • Tool-DAPO 实现了最强的性能，将 pass@1 从 35.8% (Tool-SFT) 戏剧性地提升至 66.0%。
  • 结果表明，即使只提供最终答案奖励，强化学习也能鼓励更有效的工具使用，并增加正确推理轨迹的概率。
    • Performance Boosts:
    • Calculator tool integration consistently improved both SFT and RL baselines by roughly 10 percentage points across pass@k.
    • Tool-DAPO achieved the strongest performance, drastically improving pass@1 from 35.8% (Tool-SFT) to 66.0%.
    • Results demonstrate that RL encourages more effective tool use and increases the probability of correct reasoning traces, even when only final-answer rewards are provided.

📝 Abstract

当前的大语言模型（LLMs）正越来越多地从外部工具集成中获益，特别是对于需要可靠计算和验证的任务。受此启发，我们研究了计算器工具调用，以提升模型在 Countdown 任务上的数学推理能力。我们首先分析了推理失败的原因，发现计算错误占了不正确回答的很大一部分。随后，我们构建了监督微调数据集，以教导模型有用的工具使用模式以及如何解释返回的输出。在此工具格式化策略的基础上，我们应用了几种在线策略强化学习方法，包括 RLOO、RLOO++、GRPO 和 DAPO，并使用可自动验证的最终答案奖励。为了实现更可靠的评估，我们构建了一个全新的、包含 1,024 道题的独立 Countdown 基准测试，其与训练数据无任何重合。我们的结果表明，计算器工具集成持续改善了 SFT 和 RL 基准，在 pass@k 上产生了大约 10 个百分点的提升。在各种 RL 方法中，Tool-DAPO 取得了最强的性能，将 pass@1 从 Tool-SFT 的 35.8% 提升到了 66.0%。进一步的分析表明，即使仅提供最终答案奖励，强化学习也能促使更有效的工具使用。这些发现表明，工具集成减少了算术和验证错误，而强化学习则增加了正确推理轨迹的概率。

Current large language models (LLMs) increasingly benefit from external tool integration, especially for tasks requiring reliable computation and verification. Motivated by this, we study calculator tool calling for improving mathematical reasoning on the Countdown task. We first analyze reasoning failures and find that calculation errors account for a substantial portion of incorrect responses. We then construct supervised fine-tuning datasets to teach the model useful tool-use patterns and how to interpret returned outputs. Building on this tool-formatted policy, we apply several on-policy reinforcement learning methods, including RLOO, RLOO++, GRPO, and DAPO, using automatically verifiable final-answer rewards. To enable a more reliable evaluation, we construct a fresh 1,024-problem held-out Countdown benchmark with no exact overlap with the training data. Our results show that calculator tool integration consistently improves both SFT and RL baselines, yielding roughly 10 percentage-point gains across pass@k. Among the RL methods, Tool-DAPO achieves the strongest performance, improving pass@1 from 35.8% for Tool-SFT to 66.0%. Further analysis shows that RL encourages more effective tool use even when only final-answer rewards are provided. These findings suggest that tool integration reduces arithmetic and verification errors, while RL increases the probability of correct reasoning traces.