Mirroir MCP

version: 1 name: Commute ETA Notification app: Waze, Messages tags: ["workflow", "cross-app"]

步驟

1. 啟動 Waze
2. 等待 "Où va-t-on ?" 出現
3. 點擊 "Où va-t-on ?"
4. 等待 "${DESTINATION:-Travail}" 出現
5. 點擊 "${DESTINATION:-Travail}"
6. 等待 "Y aller" 出現
7. 點擊 "Y aller"
8. 等待 "min" 出現
9. 記錄：讀取通勤時間和預計到達時間（ETA）。
10. 按下主頁按鈕
11. 啟動 Messages
12. 點擊 "New Message"
13. 輸入 "${RECIPIENT}" 並選擇聯繫人
14. 輸入 "On my way! ETA {eta}"
15. 按下 Return
16. 截圖："message_sent"

`${VAR}` 佔位符會從環境變量中解析。`${VAR:-default}` 用於設置回退值。

### 技能市場
可從 [jfarcand/mirroir-skills](https://github.com/jfarcand/mirroir-skills) 安裝現成的技能：
```bash
git clone https://github.com/jfarcand/mirroir-skills ~/.mirroir-mcp/skills

測試運行器

可從命令行確定性地運行技能，無需 AI 參與，專為持續集成（CI）和迴歸測試設計。

mirroir test apps/settings/check-about
mirroir test --junit results.xml --verbose        # 輸出 JUnit 報告
mirroir test --dry-run apps/settings/check-about    # 驗證但不執行

退出代碼 0 表示所有測試通過，1 表示有測試失敗。

編譯技能

可對技能進行一次編譯，以捕獲座標和時間信息，後續回放時無需進行 OCR。

mirroir compile apps/settings/check-about        # 編譯
mirroir test apps/settings/check-about            # 自動檢測 .compiled.json 文件
mirroir test --no-compiled check-about            # 強制進行完整 OCR

AI 智能體在首次運行 MCP 時會自動編譯技能。具體細節請參考 編譯技能。

AI 輔助診斷

當測試步驟失敗時，可使用 --agent 選項獲取 AI 對問題的診斷和建議修復方案：

mirroir test --agent gpt-5.3 apps/settings/check-about
mirroir test --agent claude-sonnet-4-6 apps/settings/check-about
mirroir test --agent ollama:llama3 apps/settings/check-about
mirroir test --agent embacle apps/settings/check-about

內置智能體：

可在 ~/.mirroir-mcp/agents/ 目錄下以 YAML 配置文件的形式定義自定義智能體。

cargo install embacle-server
embacle-server --port 3000 --provider copilot   # 或者：--provider claude_code
mirroir test --agent embacle my-skill

錄製功能

可將交互過程錄製為技能文件：

mirroir record -o login-flow.yaml -n "Login Flow" --app "MyApp"

技能生成

可讓 AI 智能體探索應用並自動生成 SKILL.md 文件：

Explore the Settings app and generate a skill that checks the iOS version.

使用深度優先搜索（DFS）圖遍歷算法，點擊未訪問的元素，當分支耗盡時回溯。自動跳過重複的屏幕。

組件檢測

原始 OCR 返回的是無結構的文本元素列表。組件定義可讓探索器瞭解 UI 模式的樣子，每個模式對應一個 .md 文件（如表格行、開關、標籤欄、摘要卡片）。探索器根據這些定義匹配屏幕區域，以決定點擊哪些元素、跳過哪些元素以及何時回溯。

項目包含 18 個 iOS 組件定義。可將自定義定義放在 ~/.mirroir-mcp/components/ 或 <cwd>/.mirroir-mcp/components/ 目錄下。

可使用以下命令針對當前即時屏幕測試定義：

Use calibrate_component with my-component.md to check how it matches.

具體的定義格式、匹配規則和檢測流程請參考 組件檢測。

環境檢查

可使用以下命令驗證你的設置：

mirroir doctor
mirroir doctor --json    # 輸出機器可讀的結果

配置鍵盤佈局

可使用以下命令為非美國鍵盤設置鍵盤佈局：

mirroir configure

更新方法

# curl 安裝器
/bin/bash -c "$(curl -fsSL https://mirroir.dev/get-mirroir.sh)"

# npx
npx -y mirroir-mcp install

# Homebrew
brew upgrade mirroir-mcp

# 從源代碼更新
git pull && swift build -c release

卸載方法

# Homebrew
brew uninstall mirroir-mcp

# 從源代碼卸載
./uninstall-mirroir.sh

圖標檢測

默認情況下，describe_screen 使用 Apple Vision OCR 檢測屏幕上的文本。如果 ~/.mirroir-mcp/models/ 目錄下存在 YOLO CoreML 模型（.mlmodelc），服務器會自動檢測並將圖標檢測結果與 OCR 文本合併，為 AI 提供非文本元素（如按鈕、開關和標籤欄圖標）的點擊目標，這些元素是僅使用文本 OCR 無法檢測到的。

安裝模型

將編譯好的 CoreML 模型（.mlmodelc）放在 ~/.mirroir-mcp/models/ 目錄下，服務器會自動找到並加載它。也可以通過 yoloModelPath 設置或 MIRROIR_YOLO_MODEL_PATH 環境變量指定特定路徑。

yoloConfidenceThreshold 設置（默認值：0.3）控制最小檢測置信度，較低的值會檢測更多元素，但可能會引入噪聲。

配置設置

可通過 settings.json 文件覆蓋默認的時間設置：

// .mirroir-mcp/settings.json（項目本地）或 ~/.mirroir-mcp/settings.json（全局）
{
  "keystrokeDelayUs": 20000,
  "clickHoldUs": 100000
}

環境變量同樣有效，如 MIRROIR_KEYSTROKE_DELAY_US。所有可用的鍵請參考 。

📚 詳細文檔

📄 許可證

本項目採用 Apache-2.0 許可證。

💻 使用示例

可將以下示例粘貼到 Claude Code、Claude Desktop、ChatGPT、Cursor 或任何 MCP 客戶端中：

Open Messages, find my conversation with Alice, and send "running 10 min late".

Open Calendar, create a new event called "Dentist" next Tuesday at 2pm.

Open my Expo Go app, tap "LoginDemo", test the login screen with
test@example.com / password123. Screenshot after each step.

Start recording, open Settings, scroll to General > About, stop recording.