跳转至

通过复杂度提升强化学习实现奥林匹克级别的几何大语言模型智能体

文章背景与核心概要

大语言模型（LLM）智能体在数学推理领域展现出了强大的能力，在结合形式化证明系统时，甚至能够解决国际数学奥林匹克（IMO）级别的问题。然而，几何问题求解长期以来一直被像 AlphaGeometry 2 这样的专家系统所主导，这些系统严重依赖于海量的数据合成以及针对辅助线构造的大规模搜索启发式算法。

本文介绍了 InternGeometry，这是首个专为几何学设计的、达到奖牌级别的 LLM 智能体。该智能体基于 InternThinker-32B 构建，通过提出命题和辅助线、利用符号引擎进行验证、并根据引擎反馈改进后续步骤的迭代过程，克服了传统启发式方法的局限性。结合名为复杂度提升强化学习（Complexity-Boosting Reinforcement Learning, CBRL）的全新训练范式，该智能体在仅使用 AlphaGeometry 2 所需训练数据 0.004% 的情况下，取得了卓越的性能表现。

📌 执行摘要 (Executive Summary)

Large Language Model (LLM) agents have demonstrated powerful mathematical reasoning capabilities, sometimes solving International Mathematical Olympiad (IMO) level problems when paired with formal proof systems. However, geometry problem-solving has remained heavily dominated by expert systems like AlphaGeometry 2, which rely on massive data synthesis and extensive search heuristics for auxiliary constructions.

大语言模型（LLM）智能体在数学推理领域展现出了强大的能力，在结合形式化证明系统时，甚至能够解决国际数学奥林匹克（IMO）级别的问题。然而，几何问题求解长期以来一直被像 AlphaGeometry 2 这样的专家系统所主导，这些系统严重依赖于海量的数据合成以及针对辅助线构造的大规模搜索启发式算法。

This paper introduces InternGeometry, the first medalist-level LLM agent designed specifically for geometry. Built upon InternThinker-32B, InternGeometry overcomes traditional heuristic limitations through an iterative process of proposing propositions and auxiliary constructions, verifying them via a symbolic engine, and refining subsequent steps based on engine feedback. Coupled with a novel training paradigm called Complexity-Boosting Reinforcement Learning (CBRL), the agent achieves remarkable performance while utilizing only 0.004% of the training data required by AlphaGeometry 2.

本文介绍了 InternGeometry，这是首个专为几何学设计的、达到奖牌级别的 LLM 智能体。该智能体基于 InternThinker-32B 构建，通过提出命题和辅助线、利用符号引擎进行验证、并根据引擎反馈改进后续步骤的迭代过程，克服了传统启发式方法的局限性。结合名为复杂度提升强化学习（Complexity-Boosting Reinforcement Learning, CBRL）的全新训练范式，该智能体在仅使用 AlphaGeometry 2 所需训练数据 0.004% 的情况下，取得了卓越的性能表现。

🚀 核心创新与方法论 (Key Innovations & Methodology)

  • Iterative Proposition & Verification: InternGeometry circumvents weak auxiliary construction heuristics by iteratively proposing geometric constructions and propositions, validating them using a symbolic engine, and reflecting on the feedback.
  • 迭代命题与验证： InternGeometry 通过迭代式地提出几何构造与命题、使用符号引擎对其进行验证并对反馈进行反思，从而避开了薄弱的辅助线构造启发式算法。
  • Dynamic Memory Mechanism: The agent maintains a robust dynamic memory, enabling over 200 interactions with the symbolic engine per individual problem.
  • 动态记忆机制： 智能体维护了一个稳健的动态记忆，使得针对单个问题可以与符号引擎进行超过 200 次交互。
  • Complexity-Boosting Reinforcement Learning (CBRL): To accelerate training efficiency, CBRL progressively increases the complexity of synthesized training problems across distinct learning stages.
  • 复杂度提升强化学习（CBRL）： 为了加速训练效率，CBRL 在不同的学习阶段逐步增加合成训练问题的复杂度。
  • Novel Solution Discovery: Beyond matching human expert benchmarks, InternGeometry successfully generates novel auxiliary constructions for IMO problems that do not appear in conventional human-written solutions.
  • 新颖解法发现： 除了达到人类专家的基准之外，InternGeometry 还成功为 IMO 问题生成了在传统人类编写的解法中未曾出现的创新辅助线构造。

📊 性能与结果 (Performance & Results)

  • IMO Benchmark: Tested on 50 IMO geometry problems spanning from 2000 to 2024, InternGeometry successfully solved 44 problems.
  • IMO 基准测试： 在测试了 2000 年至 2024 年间的 50 道 IMO 几何问题后，InternGeometry 成功解出了 44 道问题。
  • Medalist Comparison: Its performance score surpasses the historical average score of an IMO gold medalist (40.9).
  • 奖牌得主对比： 其性能得分超过了 IMO 金牌得主的历史平均得分（40.9 分）。
  • Data Efficiency: Achieved these expert-level results using only 13K training examples—merely 0.004% of the data volume utilized by AlphaGeometry 2.
  • 数据效率： 仅使用 13K 个训练样本就达到了这些专家级的成果——这仅占 AlphaGeometry 2 所使用数据量的 0.004%。

🔗 全文与参考链接 (Full-Text & Reference Links)