MCP Autotest

🚀 MCP協議自動化測試工具

mcp-autotest 是專門用於測試 MCP 協議實現的自動化測試工具。MCP 協議作為模型上下文交互的通信協議，該工具能助力開發者快速驗證服務是否契合 MCP 協議規範。

🚀 快速開始

安裝與運行

MCP 協議（Model Context Protocol）是一種用於模型上下文交互的通信協議。mcp-autotest 是一個專為測試 MCP 協議實現而設計的自動化測試工具，能夠幫助開發者快速驗證其服務是否符合 MCP 協議規範。

📦 安裝指南

1. 安裝工具

npx mcp-autotest

💻 使用示例

基礎用法

2. 創建測試用例

編輯 testdata 文件夾中的 YAML 測試文件：

case: List tools
in_list_tools: {"jsonrpc":"2.0","method":"tools/list","id":1}
out_list_tools: {"jsonrpc":"2.0","result":{"tools":[ { "name": !!re "list-[a-z]+" } ]},"id":1}

3. 執行測試

運行以下命令啟動測試：

npx mcp-autotest run testdata -- npx -y @modelcontextprotocol/server-postgres localhost:5432

高級用法

動態匹配

在某些情況下，您可能需要處理動態值（如時間戳或 UUID），此時可以使用正則表達式進行匹配。工具支持兩種模式：

1. 全量正則表達式： 使用 !!re 標籤將整個字符串視為正則表達式。

   out_list_tools: {"jsonrpc":"2.0","result":{"tools":[ { "name": !!re "list-[a-z]+" } ]},"id":1}
   

2. 嵌入式正則表達式： 使用 !!ere 標籤在字符串中嵌入正則表達式片段。

   out_list_tools: {"jsonrpc":"2.0","result":{"tools":[ { "name": !!ere "list-/[a-z]+/-tool" } ]},"id":1}
   

注意事項：

• 除正則表達式部分外，其餘字符需轉義為實際值（使用 \\）。
• 正則表達式匹配不區分大小寫。

測試 PostgreSQL 服務

請參考項目中的 PostgreSQL 示例，瞭解如何編寫針對具體服務的測試用例。

輸出示例

2025/03/31 22:23:39 實際 JSON 與期望不匹配，
得到：'{"id":1,"jsonrpc":"2.0","result":{"tools":[{"description":"Run a read-only SQL query","inputSchema":{"properties":{"sql":{"type":"string"}},"type":"object"},"name":"query"}]}}'
與預期比較：
  "result": {
    "tools": {
      "0": {
        "description": {
        ^ 字符串值不匹配，
期望字符串：'Run a read-only SQL query 2',
實際字符串：'Run a read-only SQL query'
測試失敗

動態匹配示例

假設工具返回的描述字段為動態值，您可以使用以下方式編寫測試用例：

case: List tools
in_list_tools: {"jsonrpc":"2.0","method":"tools/list","id":1}
out_list_tools: {"jsonrpc":"2.0","result":{"tools":[ { "name": !!ere "list-/[a-z]+/-tool" } ]},"id":1}

此示例中：

• "list-" 和 "-tool" 為固定字符串。
• /[a-z]+/ 是嵌入的正則表達式，匹配任意小寫字母序列。

這樣可以避免因版本號等動態值導致測試失敗的問題。

總結

mcp-autotest 是一個功能強大的自動化測試工具，能夠幫助開發者高效驗證 MCP 協議實現。通過靈活的配置和正則表達式支持，您可以輕鬆應對各種場景下的測試需求。