跳转至

从 MCP 注册表中随机抽取究竟能抽到什么？工具调用基准测试真相剖析

What a Random Draw from the MCP Registry Contains, and What Tool-Use Benchmarks Contain Instead

arXiv:2609.10962 [cs.SE]
Subjects: Software Engineering (cs.SE); Artificial Intelligence (cs.AI)
Authors: Haseeb Mohammed Afsar
Submitted on: 10 September 2026
arXiv ID: arXiv:2609.10962 | DOI: 10.48550/arXiv.2609.10962
Replication Package: GitHub Repository | Archived Data: Zenodo DOI: 10.5281/zenodo.21347997

文章背景与核心概要

随着模型上下文协议 (Model Context Protocol, MCP) 成为大模型与外部工具交互的开放事实标准，关于 MCP 生态可靠性的研究层出不穷，但多数研究均存在严重的“样本挑选偏差”——往往只测试人工精选的高分列表或经过自动修补的明星服务。本项研究从全网 24,135 个 MCP 服务普查总库中，使用公开随机数种子无偏抽样了 400 个真实的 npm/stdio 协议服务，并直接通过线路探测其真实表现。研究揭示了一个耐人寻味的现实：真实世界中仅有 48.8% 的 MCP 服务能成功完成初始化握手（主要症结在于 37.5% 的服务根本无法启动，而非缺少凭据）；同时与 BFCL v4 和 UltraTool 等主流工具评测基准对比发现，主流评测基准存在高达 68%–85% 的数据粗暴重复，实质上在严重衡量重复词句而非真实多样的工具生态。

📌 核心概要

Executive Summary

当前许多针对模型上下文协议 (Model Context Protocol, MCP) 服务器生态的研究往往受到严重的“选择偏差 (Selection Bias)”困扰——研究人员往往在潜意识中倾向于选择那些已经通过官方参考集、人工精选榜单或自动化修复流水线验证过的“已知可用”服务器。

Studies examining the Model Context Protocol (MCP) server ecosystem frequently suffer from selection bias, quietly opting for servers that are already known to work through reference sets, curated lists, or automated repair pipelines.

本篇论文深入调查了一个未经任何人工修补、基于严格概率抽样的真实 MCP 生态到底包含了什么。研究人员从全网普查出的 24,135 个注册表条目中，使用公开的随机种子随机抽取了 400 个基于 npm/stdio 的服务器，并通过真实网络线路对其进行实测探查。研究揭示了关于真实服务器可靠性、模式契合度 (Schema Conformance) 的关键洞察，并指出了真实工具与 BFCL v4 和 UltraTool 等主流标准工具调用基准测试之间的巨大结构性差异。

This paper investigates what an unrepaired, probability-based sample of the MCP ecosystem actually contains. By drawing 400 npm/stdio servers from a census of 24,135 registry entries using a published seed and probing them over the wire, the research reveals critical insights into real-world server reliability, schema conformance, and structural disparities when compared against standard tool-use benchmarks like BFCL v4 and UltraTool.

🔍 核心研究发现

Key Findings

1. 真实世界的服务器可靠性与人工精选偏差

1. Real-World Server Reliability vs. Curation Bias

  • 人工精选样本框 (Hand-Curated Frames)：在相同的测量工具下，能够达到 66.7% 的初始化握手成功率。
  • 真实随机抽取 (Random Draws)：仅有 48.8% 的服务能够成功完成初始化握手。
  • 主要故障模式：与业界普遍认为“缺乏 API 凭据或密钥是主要失败原因”的预设相反，缺失凭据只是个次要问题（仅占 13.3% ）；最主要的故障根源是服务器根本无法成功启动运行 (占比高达 37.5%) 。
  • Hand-Curated Frames: Achieve a 66.7% success rate in completing an initialize handshake using the same measuring instrument.
  • Random Draws: Only 48.8% successfully complete the initialize handshake.
  • Failure Modes: Contrary to common assumptions, missing credentials are a minor issue (13.3%). The dominant failure category is servers that never start at all (37.5%).

2. 模式契合度与可选安全性注解

2. Schema Conformance and Optional Safety Annotations

  • 极其严格的硬性规范契合：在成功启动的 195 个服务器中，对外公布的 2,766 个工具调用接口实现了零致命 JSON Schema 规范违规。
  • 可选安全性标记的差异：各服务之间的差异主要体现在对“可选安全性注解 (Optional Safety Annotations)”的配置完备性上。
  • 工具级安全标记缺失率：
  • 真实随机抽样组：缺失率高达 58.8% 。
  • 人工精选样本组：缺失率为 41.5% （再次证明人工筛选对这一安全指标起到了美化粉饰的作用）。
  • Total Hard Conformance: Among the 195 servers that successfully run, there are zero fatal JSON Schema violations across 2,766 advertised tools.
  • The Variance in Optional Safety: Variance is primarily found in optional safety annotations.
  • Tool-Level Omission Rates:
  • Random draw: 58.8%
  • Hand-curated frame: 41.5% (demonstrating that curation flatters this metric).

3. 重复度与冗余现象：真实 MCP 工具与学术基准测试的对比

3. Duplication and Redundancy: Real MCP Tools vs. Benchmarks

使用统一严谨的评估方法学，将工具描述文本与主流工具调用评测基准数据集进行对比分析： * 真实 MCP 工具生态：在 0.70 的余弦相似度阈值下，近重复率仅为 2.8% ——而且这些相似工具全部出现在同一个服务内部（在所有测试阈值下，跨作者的不同服务之间的近重复率为 0.0% ）。 * BFCL v4 基准测试：展现出高达 16.7% 的近重复率，其中 16.4 个百分点的重复发生在彼此独立的测试任务之间。 * UltraTool 基准测试：展现出 0.3% 的极低近重复率（比真实工具更加干净，证明高近重复是 BFCL 的特定缺陷，而非所有合成数据集的通病）。 * 原始数据集层面的死板冗余： * BFCL 原始数据行：存在高达 68.8% 的“完全相同名称+相同描述”重复项。 * UltraTool 原始数据行：存在高达 85.6% 的“完全相同名称+相同描述”重复项。 * 真实 MCP 生态：仅有 0.4% 的完全重复。 * 结论：在未经全局去重的情况下直接对学术基准测试发布的数据进行统计，最终衡量的其实只是死板文本的机械重复，而非大模型面对真实多样工具的真正解决能力。

Using a constant methodology to compare tool descriptions against tool-use benchmark corpora: * Real MCP Tools: Show 2.8% near-duplication at a cosine similarity of 0.70—all of which occurs within single servers (cross-author near-duplication stands at 0.0% across all tested thresholds). * BFCL v4: Exhibits 16.7% near-duplication, with 16.4 points occurring between independently presented tasks. * UltraTool: Demonstrates 0.3% duplication (cleaner than real tools, proving this is a specific property of BFCL rather than synthetic corpora broadly). * Raw Dataset Redundancy: * BFCL raw rows: 68.8% exact name-plus-description repeats. * UltraTool raw rows: 85.6% exact name-plus-description repeats. * Real MCP: 0.4% exact repeats. * Conclusion: Statistics computed on benchmark releases without global deduplication end up measuring repetition rather than distinct tools.

📦 实验产物与可复现性

Artifacts & Reproducibility

论文中的所有图表、评估指标以及每个独立服务器的实测运行日志，均可使用作者公开提供的执行脚本、随机种子以及托管在 Zenodo 上的归档数据集进行完整重现与复核验证。

All figures, metrics, and per-server outcomes can be fully regenerated using the authors' published scripts, seed values, and archived datasets available via Zenodo.

license icon （在 Creative Commons BY 4.0 许可协议下查看完整条款）

license icon (View license details under Creative Commons BY 4.0)