Mcpbench

🚀 🦊 MCPBench：MCPサーバー評価用ベンチマーク

MCPBenchは、MCPサーバーを評価するためのフレームワークです。このフレームワークは、ネットワーク検索とデータベースクエリの2種類のサーバーをサポートし、ローカルおよびリモートのMCPサーバーと互換性があります。主に同じLLMとエージェントの設定の下で、タスク完了の正解率、遅延、トークン消費などの側面から、Brave SearchやDuckDuckGoなどの異なるMCPサーバーを評価します。評価レポートはこちらです。

この実装は LangProBe：言語プログラムベンチマークに基づいています。

📋 目次

• 🔥 ニュース
• 🛠️ インストール
• 🚀 クイックスタート
  • LLM 設定
  • MCPサーバーの起動
  • 評価の起動
• 🧬 データ形式
• 📜 引用

🚀 クイックスタート

📋 ニュース

私たちはMCPBenchフレームワークを公開し、詳細なドキュメントと実験レポートを添付しています。詳細については、GitHubリポジトリをご覧ください。

🛠️ インストール

MCPBenchをインストールするには、以下の手順に従ってください：

1. このリポジトリをクローンします：

git clone https://github.com/modelscope/MCPBench.git

2. プロジェクトディレクトリに移動します：

cd MCPBench

3. 依存関係をインストールします：

pip install -r requirements.txt

🚀 クイックスタート

MCPBenchを使用する基本的な手順は以下の通りです：

1. 事前学習済みのLLMモデルをダウンロードします。
2. MCPサーバーを設定します。
3. 評価スクリプトを実行します。

サンプルコード：

from mcpbench import *

# MCPサーバーを初期化します
mcp_server = init_mcp_server()

# LLMモデルをロードします
llm_model = load_llm_model()

# 評価を実行します
results = evaluate(mcp_server, llm_model)

# 結果を出力します
print(results)

📋 データ形式

以下のデータ形式をサポートしています：

1. JSON形式：

{
  "unique_id": "",
  "Prompt": "",
  "Answer": ""
}

2. CSV形式：

unique_id,Prompt,Answer
,...(他の行)

📜 引用

私たちの作業があなたに役立つことがわかった場合は、私たちのプロジェクトを引用することを検討してください：

@misc{mcpbench,
  title={MCPBench: A Benchmark for Evaluating MCP Servers},
  author={Zhiling Luo, Xiaorong Shi, Xuanrui Lin, Jinyang Gao},
  howpublished = {\url{https://github.com/modelscope/MCPBench}},
  year={2025}
}

または、私たちのレポートを参照してください：

@article{mcpbench_report,
      title={Evaluation Report on MCP Servers}, 
      author={Zhiling Luo, Xiaorong Shi, Xuanrui Lin, Jinyang Gao},
      year={2025},
      journal={arXiv preprint arXiv:2504.11094},
      url={https://arxiv.org/abs/2504.11094},
      primaryClass={cs.AI}
}