Macos Ui Automation MCP

一個MCP服務器項目，讓Claude能通過自然語言控制macOS原生應用，類似Playwright但針對Mac應用，適用於開發測試和UI自動化。

操作系統自動化開發者工具 #Mac自動化 #UI測試 #AI輔助 .Python

評分 : 2.5分

下載量 : 5.6K

更新時間 : 2025-08-15

打開站點

安裝

複製以下命令到你的Client進行配置

{
  "mcpServers": {
    "macos-ui-automation": {
      "command": "uv",
      "args": [
        "--directory",
        "/absolute/path/to/macos-ui-automation-mcp",
        "run",
        "macos-ui-automation-mcp"
      ]
    }
  }
}

注意：您的密鑰屬於敏感信息，請勿與任何人分享。

🚀 macOS版Playwright MCP 🎭

這是一款適用於原生macOS應用程序的工具，就像Playwright用於瀏覽器一樣強大。它能讓Claude通過自然語言控制任何Mac應用程序，是在AI輔助下進行Mac應用程序開發和測試的完美選擇。

🚀 快速開始

1. 安裝

git clone https://github.com/mb-dev/macos-ui-automation-mcp.git
cd macos-ui-automation-mcp
uv sync

2. 設置輔助功能權限

⚠️ 重要提示

必須為父應用程序啟用輔助功能：

如果使用終端：將終端添加到系統設置 → 隱私與安全性 → 輔助功能中。

如果使用VS Code：將VS Code添加到系統設置 → 隱私與安全性 → 輔助功能中。

如果使用Claude Code：將Claude Code添加到系統設置 → 隱私與安全性 → 輔助功能中。

父應用程序需要此權限，因為它是實際執行MCP服務器的程序。

3. 配置Claude Code

在Claude Code MCP設置中添加以下內容：

{
  "mcpServers": {
    "macos-ui-automation": {
      "command": "uv",
      "args": [
        "--directory",
        "/absolute/path/to/macos-ui-automation-mcp",
        "run",
        "macos-ui-automation-mcp"
      ]
    }
  }
}

4. 開始自動化操作！

現在你可以向Claude提出以下請求：

"查找計算器應用程序中的所有按鈕"
"點擊我應用程序中的提交按鈕"
"點擊截圖按鈕以捕獲當前窗口"
"通過填寫憑證並點擊提交來測試登錄流程"

✨ 主要特性

這是一個MCP（模型上下文協議）服務器，它賦予Claude查看和與任何macOS應用程序交互的能力。就像Playwright用於瀏覽器一樣，它適用於原生Mac應用程序。

適用場景：

🧪 測試Mac應用程序 - "測試我應用程序中的登錄流程"
🔍 應用程序開發 - "檢查所有按鈕是否正確標註"
🤖 UI自動化 - "填寫此表單並提交"
📱 應用程序探索 - "向我展示訪達中的所有交互式元素"

📦 安裝指南

git clone https://github.com/mb-dev/macos-ui-automation-mcp.git
cd macos-ui-automation-mcp
uv sync

💻 使用示例

基礎用法

# 所有應用程序中的所有按鈕
$..[?(@.role=='AXButton')]

# 具有特定文本的按鈕
$..[?(@.title=='Submit')]

# 所有啟用的文本字段
$..[?(@.role=='AXTextField' && @.enabled==true)]

# 具有輔助功能標識符的元素
$..[?(@.ax_identifier=='loginButton')]

# 特定應用程序中的元素
$.processes[?(@.name=='Calculator')]..[?(@.role=='AXButton')]

高級用法

"測試我的登錄流程：
1. 找到用戶名字段並輸入 'testuser'
2. 找到密碼字段並輸入 'password123'
3. 點擊登錄按鈕
4. 驗證是否出現成功消息"

📚 詳細文檔

可用工具

屬性	詳情
`find_elements`	使用JSONPath查找UI元素
`find_elements_in_app`	在特定應用程序中搜索
`click_by_accessibility_id`	使用輔助功能操作進行點擊
`click_at_position`	在屏幕座標處點擊
`type_text_to_element_by_selector`	向元素中輸入文本
`get_app_overview`	獲取正在運行的應用程序的概述
`list_running_applications`	列出所有正在運行的應用程序
`check_accessibility_permissions`	驗證設置是否正確

JSONPath示例

使用強大的JSONPath查詢查找元素：

# 所有應用程序中的所有按鈕
$..[?(@.role=='AXButton')]

# 具有特定文本的按鈕
$..[?(@.title=='Submit')]

# 所有啟用的文本字段
$..[?(@.role=='AXTextField' && @.enabled==true)]

# 具有輔助功能標識符的元素
$..[?(@.ax_identifier=='loginButton')]

# 特定應用程序中的元素
$.processes[?(@.name=='Calculator')]..[?(@.role=='AXButton')]

應用程序測試

此工具在開發和測試Mac應用程序時表現出色：

測試自動化

"測試我的登錄流程：
1. 找到用戶名字段並輸入 'testuser'
2. 找到密碼字段並輸入 'password123'
3. 點擊登錄按鈕
4. 驗證是否出現成功消息"

UI驗證

"檢查我的設置窗口：
- 所有按鈕是否正確標註？
- 是否有任何沒有輔助功能標識符的文本字段？
- 點擊截圖按鈕以捕獲當前狀態"

輔助功能審核

"對我的應用程序進行輔助功能審核：
- 查找所有沒有輔助功能標籤的交互式元素
- 檢查鍵盤導航是否正常工作
- 識別任何可能難以使用的元素"

添加截圖功能

我們沒有提供內置的截圖功能，但你可以輕鬆地將其添加到你的Mac應用程序中！查看我們基於實際應用程序的完整Swift實現示例。

關鍵點：

使用ScreenCaptureKit（macOS 14+）進行高質量捕獲
自動找到你的應用程序窗口
將帶時間戳的截圖保存到“文檔/截圖”文件夾中
與這個MCP完美集成 - 只需添加一個輔助功能標識符！

與Playwright MCP一起使用：

"點擊截圖按鈕以捕獲當前窗口"

MCP將通過輔助功能ID找到你的按鈕並觸發截圖！

開發設置

對於貢獻者和高級用戶：

# 克隆並安裝
git clone https://github.com/mb-dev/macos-ui-automation-mcp.git
cd macos-ui-automation-mcp
uv sync --dev

# 運行測試
uv run python -m pytest tests/ -v

# 檢查代碼質量
uv run ruff check src/ tests/ mcp_server_wrapper.py
uv run ruff format

# 測試MCP服務器
uv run macos-ui-automation-mcp