跳转至

文章背景与核心概要

现代数据主权法规日益要求公共机构部署能够在实时政府API之间进行多步工具调用的开源本地大语言模型（LLM）智能体。然而，开源模型在这些多步场景中的表现往往不尽如人意，现有的基准测试也无法有效衡量这一能力差距。

为了应对这些挑战，本文作者推出了两项核心成果：1. KOPA-Bench（韩国开源公共API基准）：一个包含145个真实世界任务的严格基准，专门用于评估多步工具调用能力。2. EDGE（执行基础动态图）：一种由实时API执行驱动的新型数据合成配方，用于生成高质量的训练轨迹。通过使用群组相对策略优化（GRPO）在EDGE合成的数据集上对9B模型进行微调，作者展示出了几乎能够媲美同一系列中体量大得多的未微调27B模型的性能，这在KOPA-Bench和BFCL基准测试中均展现出了显着的性能提升。

韩国开源公共API的多步工具调用：基准测试与数据合成配方 (Multi-Step Tool-Calling over Korean Open Public APIs: A Benchmark and a Data-Synthesis Recipe)

arXiv ID: 2609.05395
学科分类: 人工智能 (cs.AI); 计算与语言 (cs.CL)
作者: Dain Kim, Eungi Cho, Kyumin Kim, Shinyeong Noh, Kyuseong Lim
会议: 已被 EMNLP 2026 工业赛道接受（30页，7个图，26个表）
提交时间: 2026年9月4日

arXiv ID: 2609.05395
Subjects: Artificial Intelligence (cs.AI); Computation and Language (cs.CL)
Authors: Dain Kim, Eungi Cho, Kyumin Kim, Shinyeong Noh, Kyuseong Lim
Conference: Accepted to EMNLP 2026 Industry Track (30 pages, 7 figures, 26 tables)
Submitted: September 4, 2026

📋 摘要 (Summary)

现代数据主权法规日益要求公共机构部署开源、本地部署的大语言模型（LLM）智能体，这些智能体需要具备在实时政府API之间串联多个工具调用的能力。然而，开源模型在这些多步场景中的表现始终不佳，且现有基准无法衡量这一能力差距。

为了解决这些挑战，作者引入了： 1. KOPA-Bench（韩国开源公共API基准）：一个包含145个真实世界任务的严苛基准，旨在评估多步工具调用。 2. EDGE（执行基础动态图）：一种由实时API执行驱动的新型数据合成配方，用于生成高质量的训练轨迹。

通过在EDGE合成的数据集上使用群组相对策略优化（GRPO）微调9B模型，作者展示了几乎能与同一系列中体量大得多的未微调27B模型相媲美的性能——在KOPA-Bench和BFCL基准测试中均表现出显著的性能提升。

Modern data-sovereignty regulations increasingly require public institutions to deploy open-source, on-premise Large Language Model (LLM) agents capable of chaining multiple tool-calls across live government APIs. However, open-source models consistently underperform in these multi-step scenarios, and existing benchmarks fail to measure this capability gap.

To address these challenges, the authors introduce: 1. KOPA-Bench (Korean Open Public API Benchmark): A rigorous benchmark comprising 145 real-world tasks designed to evaluate multi-step tool-calling. 2. EDGE (Execution-grounded Dynamic Graph): A novel data-synthesis recipe driven by live API execution to generate high-quality training trajectories.

By fine-tuning a 9B model using Group Relative Policy Optimization (GRPO) on the EDGE-synthesized dataset, the authors demonstrate performance that nearly matches a much larger untuned 27B model from the same family—showing significant improvements on both KOPA-Bench and the BFCL benchmark.

👥 作者与机构 (Authors & Affiliations)

  • Dain Kim
  • Eungi Cho
  • Kyumin Kim
  • Shinyeong Noh
  • Kyuseong Lim
  • Dain Kim
  • Eungi Cho
  • Kyumin Kim
  • Shinyeong Noh
  • Kyuseong Lim

🛠️ 核心贡献 (Key Contributions)

  • 引入 KOPA-Bench：一个包含145个真实世界任务的专业基准，用于评估韩国开源公共API上的实时多步工具调用。
  • EDGE 框架：一种执行基础的数据合成方法，它映射工具输出如何馈送到后续输入中，针对实时API验证链接，并合成可执行的轨迹。
  • 性能提升：通过GRPO在EDGE数据上对9B模型进行微调，在KOPA-Bench和BFCL基准测试中均带来了实质性的性能提升，堪比体量更大的27B未微调替代模型。
  • Introduction of KOPA-Bench: A specialized benchmark featuring 145 real-world tasks evaluating live multi-step tool-calling over Korean open public APIs.
  • EDGE Framework: An execution-grounded data-synthesis method that maps how tool outputs feed into subsequent inputs, verifies links against live APIs, and synthesizes executable trajectories.
  • Performance Gains: Fine-tuning a 9B model via GRPO on EDGE data yields substantial performance boosts on both KOPA-Bench and the BFCL benchmark, rivaling larger 27B untuned alternatives.