Pyautogui

🚀 mcp-pyautogui-server

モデルコンテキストプロトコル（Model Context Protocol）に基づくサーバーで、PyAutoGUIを通じて自動化されたグラフィカルユーザーインターフェイスのテストと制御機能を提供します。

🚀 クイックスタート

mcp-pyautogui-serverは、モデルコンテキストプロトコルに基づいて構築されたサーバーで、PyAutoGUIを利用してGUIの自動化テストや制御を行うことができます。以下のセクションでは、主な機能、インストール方法、開発手順などについて説明します。

✨ 主な機能

• マウスの移動とクリックを制御します。
• キーボード入力をシミュレートします。
• 画面のスクリーンショットを撮ります。
• 画面上で画像を検索します。
• 画面情報を取得します。
• Windows、macOS、Linuxといった複数のプラットフォームをサポートします。

📦 インストール

前提条件

• Python 3.12 以上
• PyAutoGUI
• その他の依存関係は自動的にインストールされます。

インストール手順

パッケージをインストールするには、以下のコマンドを実行します。

pip install mcp-pyautogui-server

Claude Desktopの設定

MacOSでの設定ファイルのパスは以下の通りです。

~/Library/Application\ Support/Claude/claude_desktop_config.json

Windowsでの設定ファイルのパスは以下の通りです。

%APPDATA%/Claude/claude_desktop_config.json

開発/未公開のサーバー設定は以下の通りです。

{
  "mcpServers": {
    "mcp-pyautogui-server": {
      "command": "uv",
      "args": [
        "--directory",
        "/path/to/mcp-pyautogui-server",
        "run",
        "mcp-pyautogui-server"
      ]
    }
  }
}

公開済みのサーバー設定は以下の通りです。

{
  "mcpServers": {
    "mcp-pyautogui-server": {
      "command": "uvx",
      "args": [
        "mcp-pyautogui-server"
      ]
    }
  }
}

🔧 技術詳細

ツール

このサーバーは以下のツールを実装しています。

マウス制御

• マウスを特定の座標に移動します。
• 現在位置または指定位置でクリックします。
• ドラッグアンドドロップ操作を行います。
• 現在のマウス位置を取得します。

キーボード制御

• テキストを入力します。
• 単一のキーを押します。
• ショートカットキーの組み合わせを使用します。

画面操作

• 画面のスクリーンショットを撮ります。
• 画面のサイズを取得します。
• 画面上の画像の位置を検索します。
• ピクセルの色を取得します。

開発

ビルドと公開

1. 依存関係を同期し、ロックファイルを更新します。

uv sync

2. パッケージをビルドします。

uv build

3. PyPIに公開します。

uv publish

注意: PyPIの認証情報は環境変数またはコマンドライン引数で設定します。

• トークン: --token または UV_PUBLISH_TOKEN
• ユーザー名/パスワード: --username/UV_PUBLISH_USERNAME および --password/UV_PUBLISH_PASSWORD

デバッグ

最適なデバッグ体験を得るには、MCPインスペクターを使用します。 npmを使用してMCPインスペクターを起動します。

npx @modelcontextprotocol/inspector uv --directory /path/to/mcp-pyautogui-server run mcp-pyautogui-server

インスペクターはURLを表示し、ブラウザでそのURLにアクセスすることでデバッグを開始できます。

📄 ライセンス

このプロジェクトはMITライセンスの下でライセンスされています。詳細については、LICENSE ファイルを参照してください。