Omniparser Autogui MCP

🚀 omniparser-autogui-mcp

このプロジェクトは、MCPプロトコルに基づくサーバで、OmniParserを利用して画面を分析し、グラフィカルユーザーインターフェイス（GUI）を自動操作します。Windowsでの動作が確認されています。

🚀 クイックスタート

このサーバは、MCPプロトコルを利用し、OmniParserを使って画面分析とGUIの自動操作を行います。Windows環境での動作が検証済みです。

📦 インストール

手順1

以下の手順に従って操作してください。

git clone --recursive https://github.com/NON906/omniparser-autogui-mcp.git
cd omniparser-autogui-mcp
uv sync
set OCR_LANG=en
uv run download_models.py

（Windows以外のシステムでは、setをexportに置き換えてください。）
（langchain_example.pyを正常に動作させたい場合は、uv sync --extra langchainを使用してください。）

手順2

以下の内容をclaude_desktop_config.jsonファイルに追加してください。

{
  "mcpServers": {
    "omniparser_autogui_mcp": {
      "command": "uv",
      "args": [
        "--directory",
        "D:\\CLONED_PATH\\omniparser-autogui-mcp",
        "run",
        "omniparser-autogui-mcp"
      ],
      "env": {
        "PYTHONIOENCODING": "utf-8",
        "OCR_LANG": "en"
      }
    }
  }
}

（D:\\CLONED_PATH\\omniparser-autogui-mcpは、実際にクローンしたパスに置き換えてください。）

追加設定

以下の追加設定が可能です。
- ``OMNI_PARSER_BACKEND_LOAD``  
他のクライアント（例：[LibreChat](https://github.com/danny-avila/LibreChat)）との競合がある場合は、値を`1`に指定してください。

- ``TARGET_WINDOW_NAME``  
操作対象のウィンドウを指定したい場合は、ウィンドウ名を指定してください。指定しない場合、デフォルトでは画面全体が操作対象になります。

- ``OMNI_PARSER_SERVER``  
OmniParserの処理を別のデバイスで行いたい場合は、サーバのアドレスとポートを指定してください。例：`127.0.0.1:8000`。サーバは`uv run omniparserserver`で起動できます。

- ``SSE_HOST``, ``SSE_PORT``  
指定すると、通信はSSE（Server-Sent Events）を通じて行われ、標準入出力ではなくなります。

- ``SOM_MODEL_PATH``, ``CAPTION_MODEL_NAME``, ``CAPTION_MODEL_PATH``, ``OMNI_PARSER_DEVICE``, ``BOX_TRESHOLD``  
これらのオプションは、OmniParserの設定に使用されます。通常は、これらのパラメータを調整する必要はありません。

📄 ライセンス

本プロジェクトはMITライセンスを採用していますが、サブモジュールとサブパッケージは含まれません。
OmniParserリポジトリはCC-BY-4.0ライセンスを使用しています。
各OmniParserモデルは異なるライセンス契約を持っています（参考）。