Mirroir MCP

version: 1 name: Commute ETA Notification app: Waze, Messages tags: ["workflow", "cross-app"]

ステップ

1. Wazeを起動する
2. "Où va-t-on ?"が表示されるまで待つ
3. "Où va-t-on ?"をタップする
4. "${DESTINATION:-Travail}"が表示されるまで待つ
5. "${DESTINATION:-Travail}"をタップする
6. "Y aller"が表示されるまで待つ
7. "Y aller"をタップする
8. "min"が表示されるまで待つ
9. 覚えておく: 通勤時間と到着予定時刻を読み取る
10. ホームボタンを押す
11. Messagesを起動する
12. "New Message"をタップする
13. "${RECIPIENT}"を入力し、連絡先を選択する
14. "On my way! ETA {eta}"を入力する
15. Returnを押す
16. スクリーンショットを撮る: "message_sent"

`${VAR}`のプレースホルダーは環境変数から解決されます。`${VAR:-default}`はデフォルト値を指定するために使用されます。

#### スキルマーケットプレイス
[jfarcand/mirroir-skills](https://github.com/jfarcand/mirroir-skills)からすぐに使えるスキルをインストールできます。
```bash
git clone https://github.com/jfarcand/mirroir-skills ~/.mirroir-mcp/skills

テストランナー

CLIからスキルを決定論的に実行できます。AIを介さず、CIや回帰テストに適しています。

mirroir test apps/settings/check-about
mirroir test --junit results.xml --verbose        # JUnit出力
mirroir test --dry-run apps/settings/check-about    # 実行せずに検証

終了コード0はすべてのテストが成功、1はいずれかのテストが失敗したことを示します。

コンパイル済みスキル

スキルを一度コンパイルすると、座標とタイミングをキャプチャできます。OCRを使用せずに再実行できます。

mirroir compile apps/settings/check-about        # コンパイル
mirroir test apps/settings/check-about            # .compiled.jsonを自動検出
mirroir test --no-compiled check-about            # 完全なOCRを強制

AIエージェントは最初のMCP実行時にスキルを自動的にコンパイルします。詳細はコンパイル済みスキルを参照してください。

AI支援診断

テストステップが失敗した場合、--agentを指定すると、何が問題であったかと提案される修正方法のAI診断を取得できます。

mirroir test --agent gpt-5.3 apps/settings/check-about
mirroir test --agent claude-sonnet-4-6 apps/settings/check-about
mirroir test --agent ollama:llama3 apps/settings/check-about
mirroir test --agent embacle apps/settings/check-about

組み込みのエージェント:

カスタムエージェントは~/.mirroir-mcp/agents/のYAMLプロファイルとして定義できます。

cargo install embacle-server
embacle-server --port 3000 --provider copilot   # または: --provider claude_code
mirroir test --agent embacle my-skill

レコーダー

インタラクションをスキルファイルとして記録できます。

mirroir record -o login-flow.yaml -n "Login Flow" --app "MyApp"

スキル生成

AIエージェントにアプリを探索させ、自動的にSKILL.mdファイルを生成できます。

設定アプリを探索し、iOSバージョンを確認するスキルを生成します。

DFSグラフトラバーサルを使用して、未訪問の要素をタップし、分岐が尽きたらバックトラックします。重複する画面は自動的にスキップされます。

コンポーネント検出

生のOCRは構造のないテキスト要素の平坦なリストを返します。コンポーネント定義は、エクスプローラーにUIパターンの外観を教えます。各パターン（テーブル行、トグル、タブバー、サマリーカード）に対応する.mdファイルがあります。エクスプローラーは画面領域をこれらの定義とマッチングして、何をタップするか、何をスキップするか、いつバックトラックするかを決定します。

18のiOSコンポーネント定義が含まれています。カスタム定義は~/.mirroir-mcp/components/または<cwd>/.mirroir-mcp/components/に配置してください。

現在のライブ画面に対して定義をテストするには、以下のコマンドを実行します。

Use calibrate_component with my-component.md to check how it matches.

定義形式、マッチングルール、検出パイプラインの詳細はコンポーネント検出を参照してください。

診断ツール

設定を検証します。

mirroir doctor
mirroir doctor --json    # 機械可読な出力

設定

非米国のキーボードレイアウトを設定します。

mirroir configure

更新方法

# curlインストーラー
/bin/bash -c "$(curl -fsSL https://mirroir.dev/get-mirroir.sh)"

# npx
npx -y mirroir-mcp install

# Homebrew
brew upgrade mirroir-mcp

# ソースから
git pull && swift build -c release

アンインストール方法

# Homebrew
brew uninstall mirroir-mcp

# ソースから
./uninstall-mirroir.sh

アイコン検出

デフォルトでは、describe_screenはApple Vision OCRを使用して画面上のテキストを検出します。~/.mirroir-mcp/models/にYOLO CoreMLモデル（.mlmodelc）が存在する場合、サーバーは自動的に検出し、アイコン検出結果をOCRテキストと統合します。これにより、テキストのみのOCRでは見逃されるボタン、トグル、タブバーアイコンなどの非テキスト要素のタップターゲットをAIに提供できます。

モデルのインストール

コンパイル済みのCoreMLモデル（.mlmodelc）を~/.mirroir-mcp/models/に配置します。サーバーが自動的に検出して読み込みます。yoloModelPath設定またはMIRROIR_YOLO_MODEL_PATH環境変数を使用して、特定のパスを指定することもできます。

yoloConfidenceThreshold設定（デフォルト: 0.3）は、最小検出信頼度を制御します。値を下げると、より多くの要素が検出されますが、ノイズが増える可能性があります。

設定のオーバーライド

settings.jsonを使用してタイミングのデフォルト値をオーバーライドできます。

// .mirroir-mcp/settings.json (プロジェクトローカル) または ~/.mirroir-mcp/settings.json (グローバル)
{
  "keystrokeDelayUs": 20000,
  "clickHoldUs": 100000
}