MCP Autotest

🚀 MCPプロトコル自動テストツール

MCPプロトコル（Model Context Protocol）は、モデルコンテキストの相互作用のための通信プロトコルです。mcp-autotest は、MCPプロトコルの実装をテストするために設計された自動テストツールで、開発者がサービスがMCPプロトコルの仕様に準拠しているかどうかを迅速に検証するのに役立ちます。

🚀 クイックスタート

📦 インストール

1. ツールのインストール

npx mcp-autotest

2. テストケースの作成

testdata フォルダ内のYAMLテストファイルを編集します。

case: List tools
in_list_tools: {"jsonrpc":"2.0","method":"tools/list","id":1}
out_list_tools: {"jsonrpc":"2.0","result":{"tools":[ { "name": !!re "list-[a-z]+" } ]},"id":1}

3. テストの実行

以下のコマンドを実行してテストを開始します。

npx mcp-autotest run testdata -- npx -y @modelcontextprotocol/server-postgres localhost:5432

💻 使用例

基本的な使用法

以下は基本的なテストケースの作成と実行の例です。

# ツールのインストール
npx mcp-autotest

# テストケースの作成
# （testdataフォルダ内のYAMLファイルを編集）
case: List tools
in_list_tools: {"jsonrpc":"2.0","method":"tools/list","id":1}
out_list_tools: {"jsonrpc":"2.0","result":{"tools":[ { "name": !!re "list-[a-z]+" } ]},"id":1}

# テストの実行
npx mcp-autotest run testdata -- npx -y @modelcontextprotocol/server-postgres localhost:5432

高度な使用法

動的な値を扱う場合の例です。

case: List tools
in_list_tools: {"jsonrpc":"2.0","method":"tools/list","id":1}
out_list_tools: {"jsonrpc":"2.0","result":{"tools":[ { "name": !!ere "list-/[a-z]+/-tool" } ]},"id":1}

この例では、"list-" と "-tool" は固定文字列で、/[a-z]+/ は任意の小文字のアルファベットシーケンスにマッチする埋め込み正規表現です。これにより、バージョン番号などの動的な値によるテストの失敗を回避できます。

🔧 技術詳細

動的マッチング

場合によっては、動的な値（タイムスタンプやUUIDなど）を扱う必要があります。このような場合、正規表現を使用してマッチングを行うことができます。ツールは2つのモードをサポートしています。

1. 全量正規表現： !!re タグを使用して、文字列全体を正規表現として扱います。

   out_list_tools: {"jsonrpc":"2.0","result":{"tools":[ { "name": !!re "list-[a-z]+" } ]},"id":1}
   

2. 埋め込み正規表現： !!ere タグを使用して、文字列内に正規表現の断片を埋め込みます。

   out_list_tools: {"jsonrpc":"2.0","result":{"tools":[ { "name": !!ere "list-/[a-z]+/-tool" } ]},"id":1}
   

⚠️ 重要提示

• 正規表現部分以外の文字は、実際の値にエスケープする必要があります（\\ を使用）。
• 正規表現のマッチングは大文字と小文字を区別しません。

🔍 サンプル

PostgreSQLサービスのテスト

具体的なサービスに対するテストケースの書き方を知るには、プロジェクト内の PostgreSQLサンプル を参照してください。

出力例

2025/03/31 22:23:39 実際のJSONが期待値と一致しません。
取得した値：'{"id":1,"jsonrpc":"2.0","result":{"tools":[{"description":"Run a read-only SQL query","inputSchema":{"properties":{"sql":{"type":"string"}},"type":"object"},"name":"query"}]}}'
期待値との比較：
  "result": {
    "tools": {
      "0": {
        "description": {
        ^ 文字列値が一致しません。
期待される文字列：'Run a read-only SQL query 2'
実際の文字列：'Run a read-only SQL query'
テストに失敗しました。

まとめ

mcp-autotest は強力な自動テストツールで、開発者がMCPプロトコルの実装を効率的に検証するのに役立ちます。柔軟な設定と正規表現のサポートにより、さまざまなシナリオでのテストニーズに簡単に対応できます。