Omniparser AutoGUI

🚀 omniparser-autogui-mcp

このプロジェクトは、OmniParser を使用して画面を分析し、GUI を自動操作する MCP サーバー です。Windows 上での動作を確認しています。

🚀 クイックスタート

これは OmniParser を使用して画面を分析し、GUI を自動操作する MCP サーバー です。Windows 上での動作を確認しています。

📄 ライセンス

本プロジェクトは MIT ライセンスを採用していますが、サブモジュールとサブパッケージは含まれません。
OmniParser リポジトリは CC - BY - 4.0 ライセンスを使用しています。
各 OmniParser モデルは異なるライセンスを持っています（参考）。

📦 インストール

1. 以下の手順に従って操作してください：

git clone --recursive https://github.com/NON906/omniparser-autogui-mcp.git
cd omniparser-autogui-mcp
uv sync
set OCR_LANG=en
uv run download_models.py

（Windows 以外のシステムでは、export を set の代わりに使用してください。）
（langchain_example.py を正常に動作させたい場合は、uv sync --extra langchain を使用してください。）

2. 以下の内容を claude_desktop_config.json ファイルに追加してください：

{
  "mcpServers": {
    "omniparser_autogui_mcp": {
      "command": "uv",
      "args": [
        "--directory",
        "D:\\CLONED_PATH\\omniparser-autogui-mcp",
        "run",
        "omniparser-autogui-mcp"
      ],
      "env": {
        "PYTHONIOENCODING": "utf-8",
        "OCR_LANG": "en"
      }
    }
  }
}

（D:\\CLONED_PATH\\omniparser-autogui-mcp を実際にクローンしたパスに置き換えてください。）

env では以下の追加設定が可能です：

• OMNI_PARSER_BACKEND_LOAD
  他のクライアント（例：LibreChat）との競合がある場合は、1 を指定してください。

• TARGET_WINDOW_NAME
  操作対象のウィンドウを指定したい場合は、ウィンドウ名を指定してください。
  指定しない場合は、デフォルトで全画面に対して操作が行われます。

• OMNI_PARSER_SERVER
  OmniParser の処理を別のデバイスで実行したい場合は、サーバーのアドレスとポートを指定してください。例：127.0.0.1:8000。
  サーバーは uv run omniparserserver で起動できます。

• SSE_HOST, SSE_PORT
  指定すると、通信は標準入出力ではなく SSE を通じて行われます。

• SOM_MODEL_PATH, CAPTION_MODEL_NAME, CAPTION_MODEL_PATH, OMNI_PARSER_DEVICE, BOX_TRESHOLD
  これらは OmniParser の設定に使用されます。
  通常は手動で設定する必要はありません。

💻 使用例

基本的な使用法

• 画面上のブラウザで「MCP サーバー」を検索する。