Omniparser Autogui MCP

🚀 omniparser-autogui-mcp

這是一個基於 MCP 協議的服務器項目，藉助 OmniParser 實現屏幕分析與圖形用戶界面（GUI）的自動操作。該項目已在 Windows 系統上完成驗證。

🚀 快速開始

本項目是基於 MCP 協議的服務器，利用 OmniParser 分析屏幕並自動操作圖形用戶界面(GUI)，已在 Windows 上驗證通過。

📦 安裝指南

步驟一：克隆倉庫並下載模型

請按照以下步驟操作：

git clone --recursive https://github.com/NON906/omniparser-autogui-mcp.git
cd omniparser-autogui-mcp
uv sync
set OCR_LANG=en
uv run download_models.py

⚠️ 重要提示

• 非 Windows 系統，請將set替換為export。
• 如果希望langchain_example.py正常運行，則使用uv sync --extra langchain。

步驟二：配置 claude_desktop_config.json 文件

將以下內容添加到你的claude_desktop_config.json文件中：

{
  "mcpServers": {
    "omniparser_autogui_mcp": {
      "command": "uv",
      "args": [
        "--directory",
        "D:\\CLONED_PATH\\omniparser-autogui-mcp",
        "run",
        "omniparser-autogui-mcp"
      ],
      "env": {
        "PYTHONIOENCODING": "utf-8",
        "OCR_LANG": "en"
      }
    }
  }
}

⚠️ 重要提示

請將D:\\CLONED_PATH\\omniparser-autogui-mcp替換為你克隆的實際路徑。

額外配置說明

允許以下額外配置：
- ``OMNI_PARSER_BACKEND_LOAD``  
如果與其他客戶端（如[LibreChat](https://github.com/danny-avila/LibreChat)）衝突，請指定值為`1`。

- ``TARGET_WINDOW_NAME``  
如果你希望指定要操作的窗口，請指定窗口名稱。  
未指定時，默認對整個屏幕進行操作。

- ``OMNI_PARSER_SERVER``  
如果你希望OmniParser的處理在另一臺設備上完成，請指定服務器的地址和端口，例如`127.0.0.1:8000`。  
服務器可以通過`uv run omniparserserver`啟動。

- ``SSE_HOST``, ``SSE_PORT``  
如果指定，則通信將通過SSE（Server-Sent Events）而非標準輸入輸出進行。

- ``SOM_MODEL_PATH``, ``CAPTION_MODEL_NAME``, ``CAPTION_MODEL_PATH``, ``OMNI_PARSER_DEVICE``, ``BOX_TRESHOLD``  
這些選項用於OmniParser的配置。  
通常情況下，可能不需要調整這些參數。

📄 許可證

本項目採用 MIT 許可證，但不包括子模塊和子包。
OmniParser 倉庫使用的是 CC - BY - 4.0 協議。
每個 OmniParser 模型具有不同的許可協議（參考）。