<h1 align="center">
	🦊 MCPBench: 用于评估 MCP 服务器的基准测试
</h1>

<div align="center">

[![Documentation][docs-image]][docs-url]
[![Package License][package-license-image]][package-license-url]

</div>

<div align="center">
<h4 align="center">

[中文](https://github.com/modelscope/MCPBench/blob/main/README_zh.md) |
[English](https://github.com/modelscope/MCPBench/blob/main/README.md)

</h4>
</div>

MCPBench 是一个用于评估 MCP 服务器的框架。它支持对两种类型的服务器进行评估：Web 搜索和数据库查询，并且兼容本地和远程 MCP 服务器。该框架主要在相同的 LLM 和 Agent 配置下，评估不同 MCP 服务器（例如 Brave Search、DuckDuckGo 等）在任务完成准确性、延迟和 token 消耗方面的性能。这是[评估报告](https://arxiv.org/abs/2504.11094)。

<img src="assets/figure1.png" alt="MCPBench Overview" width="600"/>

该实现基于 [LangProBe: a Language Programs Benchmark](https://arxiv.org/abs/2502.20315)。

<hr>

# 📋 目录

- [🔥 最新消息](#news)
- [🛠️ 安装](#installation)
- [🚀 快速开始](#quick-start)
  - [LLM 配置](#llm-configuration)
  - [启动 MCP 服务器](#launch-mcp-server)
  - [启动评估](#launch-evaluation)
- [🧂 数据集和实验](#datasets-and-experiments)
- [🚰 引用](#cite)

# 🔥 最新消息
+ `Apr. 14, 2025` 🌟 我们很自豪地宣布 MCPBench 现在已开源。

# 🛠️ 安装
该框架需要 Python 版本 >= 3.11，nodejs 和 jq。

```bash
conda create -n mcpbench python=3.11 -y
conda activate mcpbench
pip install -r requirements.txt

🚀 快速开始

LLM 配置

在您的环境变量中准备 LLM 密钥和端点：

export MODEL_KEY=your_api_key_here
export MODEL_ENDPOINT=your_model_endpoint_here

启动 MCP 服务器

将 stdio MCP 作为 SSE 启动

如果 MCP 不支持 SSE，请编写如下配置：

{
  "name": "DuckDuckGo",
  "command": "uvx duckduckgo-mcp-server",
  "args": "",
  "port": 8001,
  "tool_name": "search",
  "tool_keyword": "query"
}

将此配置文件保存在 configs 文件夹中，并使用以下命令启动它：

sh launch_mcp_as_sse.sh YOUR_CONFIG_FILE

例如，如果配置文件是 duckduckgo.json，则运行：

sh launch_mcp_as_sse.sh duckduckgo.json

启动 SSE MCP

如果您的服务器支持 SSE，您可以直接使用它。URL 将是 http://localhost:8001/sse

对于支持 SSE 的 MCP 服务器，请编写如下配置：

{
  "name": "Exa Search",
  "command": "",
  "args": "",
  "url": "https://mcp-xxxx.api-inference.modelscope.cn/sse",
  "port": 0,
  "tool_name": "web_search",
  "tool_keyword": "query"
}

其中 url 可以从 ModelScope 上的 MCP 市场生成。

启动评估

要评估 MCP 服务器在 Web 搜索任务上的性能：

sh evaluation_websearch.sh YOUR_CONFIG_FILE

要评估 MCP 服务器在数据库查询任务上的性能：

sh evaluation_db.sh YOUR_CONFIG_FILE

🧂 数据集和实验

我们的框架提供了两个用于评估的数据集。对于 WebSearch 任务，数据集位于 MCPBench/langProBe/WebSearch/data/frames_test.jsonl，包含来自 Frames、新闻和技术领域的各 200 个 QA 对。我们用于自动构建评估数据集的框架将在稍后开源。

对于数据库查询任务，数据集位于 MCPBench/langProBe/DB/data/car_bi.jsonl。您可以按照以下格式添加自己的数据集：

{
  "unique_id": "",
  "Prompt": "",
  "Answer": ""
}

我们已经评估了主流 MCP 服务器在这两项任务上的性能。有关详细的实验结果，请参阅 Documentation

🚰 引用

如果您觉得这项工作有用，请考虑引用我们的项目：

@misc{mcpbench,
  title={MCPBench: A Benchmark for Evaluating MCP Servers},
  author={Zhiling Luo, Xiaorong Shi, Xuanrui Lin, Jinyang Gao},
  howpublished = {\url{https://github.com/modelscope/MCPBench}},
  year={2025}
}

或者，您可以引用我们的报告。

@article{mcpbench_report,
      title={Evaluation Report on MCP Servers}, 
      author={Zhiling Luo, Xiaorong Shi, Xuanrui Lin, Jinyang Gao},
      year={2025},
      journal={arXiv preprint arXiv:2504.11094},
      url={https://arxiv.org/abs/2504.11094},
      primaryClass={cs.AI}
}