Api Test MCP

🚀 API自動化測試框架

YAML聲明式API測試框架，專為AI代碼助手優化，該框架將測試邏輯與執行代碼分離，能有效減少使用AI編寫API測試時的重複工作、降低Token消耗並提高調試效率。

快速開始 | MCP集成 | YAML規範 | 單元測試

為何選擇此框架？

在讓AI編寫API測試時，你可能會遇到以下問題：

場景一：重複工作

每次讓AI生成測試時，都需要重新描述項目結構、認證方法和斷言風格。對於10個API測試，相同的fixture和設置代碼會被生成10次。

場景二：Token黑洞

一個簡單的登錄API測試會生成200行代碼。你發現一個斷言錯誤，讓AI修復，它又會生成200行代碼。經過3次修改，你消耗了2000多個Token，但最終還是需要手動修復。

場景三：調試死循環

AI生成的測試無法運行。你粘貼錯誤信息，AI修復後仍然錯誤。經過5輪對話，問題依舊存在，你已經消耗了5000多個Token。

本框架的解決方案

傳統方式：自然語言 -> AI生成完整代碼 -> 運行錯誤 -> 粘貼錯誤信息 -> AI重新生成 -> 循環...
本框架：自然語言 -> AI生成YAML -> 框架執行 -> 定位問題 -> 修復1行YAML

✨ 主要特性

📦 安裝指南

安裝uv（如果未安裝）

curl -LsSf https://astral.sh/uv/install.sh | sh

安裝MCP服務器（推薦：作為工具安裝）

uv tool install git+https://github.com/GalaxyXieyu/Api-Test-MCP.git

驗證安裝

api-auto-test-mcp --help

管理工具

uv tool list
uv tool uninstall api-auto-test   # 使用 `uv tool list` 顯示的工具名稱

不安裝直接運行（uvx）

uvx --from git+https://github.com/GalaxyXieyu/Api-Test-MCP.git api-auto-test-mcp --help

⚠️ 重要提示

uvx install ... 是錯誤的。uvx 將其後的第一個單詞視為工具名稱，因此它會嘗試解析一個名為 install 的包並失敗。

配置編輯器

將以下內容添加到編輯器的MCP設置中：

{
  "mcpServers": {
    "api-auto-test": {
      "command": "api-auto-test-mcp"
    }
  }
}

本地開發

# 推薦使用uv
uv pip install -r requirements.txt

# 或者使用pip
pip install -r requirements.txt

💻 使用示例

創建測試用例

# tests/cases/user_login.yaml
testcase:
  name: user_login
  description: User login API test
  host: http://localhost:8000
  steps:
    - id: login
      path: /api/auth/login
      method: POST
      data:
        username: "test_user"
        password: "123456"
      assert:
        - type: status_code
          expected: 200
        - type: equals
          field: data.code
          expected: 0

生成並運行測試

# 生成pytest腳本
python -m atf.case_generator

# 運行測試
pytest tests/scripts/ -v

# 生成Allure報告
pytest tests/scripts/ --alluredir=tests/allure-results
allure serve tests/allure-results

# 生成pytest-html報告
pytest tests/scripts/ --html=report.html

MCP服務器集成

通過MCP，AI編輯器可以直接調用框架工具來生成和執行測試。

效率對比

測試場景：相同的API測試生成任務（純諮詢/分析對話）

核心優勢：

• 成本降低54%：MCP直接調用工具，避免了冗長的代碼生成上下文
• API響應速度提升64%：工具調用比自然語言交互更高效
• Token消耗減少59%：只需要必要的參數，無需重複項目結構

可用工具

使用示例

告訴AI：

Create a test for /api/users interface, verify returned user list length > 0

AI將調用 write_testcase 生成YAML和相應的pytest腳本。

📚 詳細文檔

項目結構

api-auto-test/
├── atf/                    # 框架核心
│   ├── core/               # 請求、斷言、變量解析模塊
│   ├── mcp/                # MCP服務器實現
│   └── handlers/           # 通知、報告處理程序
├── tests/
│   ├── cases/              # YAML測試用例
│   └── scripts/            # 生成的pytest腳本
├── config.yaml             # 項目配置（環境、數據庫、通知）
└── pyproject.toml

YAML測試用例規範

基本結構

testcase:
  name: test_name              # 用例名稱，用於文件名
  description: Description     # 可選
  host: http://localhost:8000  # API主機，也可在config.yaml中全局配置
  steps:
    - id: step1                # 步驟ID，用於後續引用
      path: /api/endpoint
      method: POST
      headers:
        Authorization: "Bearer {{ login.data.token }}"  # 引用其他步驟的響應
      data:
        key: value
      assert:
        - type: status_code
          expected: 200
        - type: equals
          field: data.id
          expected: 1

斷言類型

變量引用

# 引用其他步驟的響應數據
token: "{{ login.data.token }}"

# 引用全局配置
host: "{{ merchant.host }}"

# 調用內置函數
timestamp: "{{ tools.get_timestamp() }}"
uuid: "{{ tools.generate_uuid() }}"

清理操作

testcase:
  name: create_and_delete_user
  steps:
    - id: create_user
      path: /api/users
      method: POST
      data:
        name: "test_user"
  teardowns:
    - id: delete_user
      operation_type: api
      path: /api/users/{{ create_user.data.id }}
      method: DELETE

單元測試

支持為Python代碼編寫單元測試，通過MCP工具自動生成測試用例。

單元測試YAML格式

unittest:
  name: UserService Test
  target:
    module: app.services.user_service 
    class: UserService
    function: get_user
  fixtures:
    setup:
      - type: patch
        target: app.services.user_service.UserRepository
        return_value:
          id: 1
          name: "test_user"
  cases:
    - id: test_get_user_success
      description: Test get user success
      inputs:
        args: [1]
        kwargs: {}
      assert:
        - type: equals
          field: result.id
          expected: 1
        - type: equals
          field: result.name
          expected: "test_user"

斷言類型

配置文件

# config.yaml
projects:
  merchant:
    test:
      host: http://192.168.1.100:8080
      is_need_login: true
      login:
        url: http://192.168.1.100:8080/login
        method: POST
        data:
          username: admin
          password: "123456"
    online:
      host: https://api.example.com
      is_need_login: true

notifications:
  dingtalk:
    webhook: "https://oapi.dingtalk.com/robot/send?access_token=xxx"
    secret: "SECxxx"

📄 許可證

本項目採用MIT許可證。

鏈接

• GitHub
• 問題報告