Mcpbench

🚀 🦊 MCPBench：用於評估MCP服務器的基準測試

MCPBench是一個用於評估MCP服務器的框架。它支持網絡搜索和數據庫查詢這兩種類型的服務器，並且兼容本地和遠程MCP服務器。該框架主要在相同的大語言模型（LLM）和代理配置下，從任務完成準確率、延遲和代幣消耗等方面對不同的MCP服務器（如Brave Search、DuckDuckGo等）進行評估。這裡是 評估報告。本框架的實現基於 LangProBe：語言程序基準測試。

🚀 快速開始

📋 新聞

我們發佈了MCPBench框架，並附帶詳細的文檔和實驗報告。如需瞭解更多信息，請訪問 GitHub 倉庫。

📦 安裝指南

要安裝MCPBench，請按照以下步驟操作：

1. 克隆此倉庫：

git clone https://github.com/modelscope/MCPBench.git

2. 進入項目目錄：

cd MCPBench

3. 安裝依賴項：

pip install -r requirements.txt

🚀 快速開始

以下是使用MCPBench的基本步驟：

1. 下載預訓練的LLM模型。
2. 配置MCP服務器。
3. 運行評估腳本。

💻 使用示例

基礎用法

from mcpbench import *

# 初始化 MCP 服務器
mcp_server = init_mcp_server()

# 加載 LLM 模型
llm_model = load_llm_model()

# 執行評估
results = evaluate(mcp_server, llm_model)

# 輸出結果
print(results)

🧬 數據格式

我們支持以下數據格式：

1. JSON 格式：

{
  "unique_id": "",
  "Prompt": "",
  "Answer": ""
}

2. CSV 格式：

unique_id,Prompt,Answer
,...(更多行)

📜 引用

如果你發現我們的工作對你有幫助，請考慮引用我們的項目：

@misc{mcpbench,
  title={MCPBench: A Benchmark for Evaluating MCP Servers},
  author={Zhiling Luo, Xiaorong Shi, Xuanrui Lin, Jinyang Gao},
  howpublished = {\url{https://github.com/modelscope/MCPBench}},
  year={2025}
}

或者參考我們的報告：

@article{mcpbench_report,
      title={Evaluation Report on MCP Servers}, 
      author={Zhiling Luo, Xiaorong Shi, Xuanrui Lin, Jinyang Gao},
      year={2025},
      journal={arXiv preprint arXiv:2504.11094},
      url={https://arxiv.org/abs/2504.11094},
      primaryClass={cs.AI}
}