MCP Evals

🚀 MCP 評価ツール

Node.js パッケージと GitHub Action で、LLM ベースの評点を使用して MCP（モデルコンテキストプロトコル）ツールの実装を評価します。これにより、MCP サーバーツールが正しく効率的に動作することを保証できます。

🚀 クイックスタート

このツールは、Node.js パッケージまたは GitHub Action として使用できます。以下のセクションでは、それぞれのインストール方法と使用方法を説明します。

📦 インストール

Node.js パッケージとしてのインストール

npm install mcp-evals

GitHub Action としてのインストール

ワークフローファイルに以下の内容を追加します。

name: 運行 MCP 評価
on:
  pull_request:
    types: [opened, synchronize, reopened]
jobs:
  evaluate:
    runs-on: ubuntu-latest
    permissions:
      contents: read
      pull-requests: write
    steps:
      - uses: actions/checkout@v4
      
      - name: Node.js のセットアップ
        uses: actions/setup-node@v4
        with:
          node-version: '20'
          
      - name: 依存関係のインストール
        run: npm install
        
      - name: MCP 評価の実行
        uses: mclenhard/mcp-evals@v1.0.9
        with:
          evals_path: 'src/evals/evals.ts'
          server_path: 'src/index.ts'
          openai_api_key: ${{ secrets.OPENAI_API_KEY }}
          model: 'gpt-4'  # オプション、デフォルトは gpt-4

💻 使用例

基本的な使用法

1. 評価ファイルの作成

ファイル（例：evals.ts）を作成し、評価設定をエクスポートします。

import { EvalConfig } from 'mcp-evals';
import { openai } from "@ai-sdk/openai";
import { grade, EvalFunction} from "mcp-evals";

const weatherEval: EvalFunction = {
    name: 'Weather Tool Evaluation',
    description: 'Evaluates the accuracy and completeness of weather information retrieval',
    run: async () => {
      const result = await grade(openai("gpt-4"), "What is the weather in New York?");
      return JSON.parse(result);
    }
};
const config: EvalConfig = {
    model: openai("gpt-4"),
    evals: [weatherEval]
  };
  
  export default config;
  
  export const evals = [
    weatherEval,
    // ここに他の評価を追加
]; 

2. 評価の実行

Node.js パッケージとしての実行

CLI を使用して評価を実行できます。

npx mcp-eval path/to/your/evals.ts path/to/your/server.ts

GitHub Action としての実行

このアクションは自動的に以下の手順を実行します。

1. 評価を実行する
2. PR 上に結果のコメントを投稿する
3. PR が更新された場合、コメントを更新する

📚 ドキュメント

評価結果

各評価は、以下の構造を持つオブジェクトを返します。

interface EvalResult {
  accuracy: number;        // 評点範囲は 1 - 5
  completeness: number;    // 評点範囲は 1 - 5
  relevance: number;       // 評点範囲は 1 - 5
  clarity: number;         // 評点範囲は 1 - 5
  reasoning: number;       // 評点範囲は 1 - 5
  overall_comments: string; // 強みと弱みの要約
}

設定

環境変数

• OPENAI_API_KEY：あなたの OpenAI API キー（必須）

⚠️ 重要な注意 この GitHub Action をオープンソースソフトウェア開発に使用する場合は、OpenAI の請求ダッシュボードでデータ共有を有効にして、毎日 250 万回の GPT - 4o mini 無料トークンを請求することができ、このアクションを実質的に無料で使用できます。

評価設定

EvalConfig インターフェースには以下の内容が必要です。

• model：評価に使用する言語モデル（例：GPT - 4）
• evals：実行する評価関数の配列

各評価関数は以下を実装する必要があります。

• name：評価の名前
• description：評価がテストする内容の説明
• run：モデルを受け取り、EvalResult を返す非同期関数

📄 ライセンス

MIT