Omniparser AutoGUI

🚀 omniparser-autogui-mcp

這是一個藉助 OmniParser 對屏幕進行分析，並自動操作 GUI 的 MCP 服務器。經確認，該項目在 Windows 系統上可正常使用。（點擊查看日文版）

🚀 快速開始

本項目是使用 OmniParser 分析屏幕並自動操作 GUI 的 MCP 服務器，在 Windows 系統上可用。

📦 安裝指南

步驟一：克隆倉庫並下載模型

請按照以下步驟進行操作：

git clone --recursive https://github.com/NON906/omniparser-autogui-mcp.git
cd omniparser-autogui-mcp
uv sync
set OCR_LANG=en
uv run download_models.py

📌 注意：

• 非 Windows 系統，請使用 export 替代 set。
• 如果希望 langchain_example.py 正常運行，請使用 uv sync --extra langchain。

步驟二：配置 claude_desktop_config.json 文件

將以下內容添加到您的 claude_desktop_config.json 文件中：

{
  "mcpServers": {
    "omniparser_autogui_mcp": {
      "command": "uv",
      "args": [
        "--directory",
        "D:\\CLONED_PATH\\omniparser-autogui-mcp",
        "run",
        "omniparser-autogui-mcp"
      ],
      "env": {
        "PYTHONIOENCODING": "utf-8",
        "OCR_LANG": "en"
      }
    }
  }
}

📌 注意：請將 D:\\CLONED_PATH\\omniparser-autogui-mcp 替換為您實際克隆的路徑。

額外配置說明

env 允許以下額外配置：

• OMNI_PARSER_BACKEND_LOAD：如果與其他客戶端（如 LibreChat）衝突，請指定 1。
• TARGET_WINDOW_NAME：如果您想指定要操作的窗口，請指定窗口名稱。未指定時，默認對整個屏幕進行操作。
• OMNI_PARSER_SERVER：如果希望 OmniParser 的處理在另一臺設備上執行，請指定服務器地址和端口，例如 127.0.0.1:8000。服務器可以通過 uv run omniparserserver 啟動。
• SSE_HOST, SSE_PORT：如果指定，則通信將通過 SSE 而非標準輸入輸出進行。
• SOM_MODEL_PATH, CAPTION_MODEL_NAME, CAPTION_MODEL_PATH, OMNI_PARSER_DEVICE, BOX_TRESHOLD：這些用於 OmniParser 的配置。通常情況下，不需要手動設置。

💻 使用示例

基礎用法

在屏幕上的瀏覽器中搜索“MCP 服務器”。

📄 許可證

本項目採用 MIT 許可證，但不包括子模塊和子包。
OmniParser 倉庫使用 CC-BY-4.0 許可證。
每個 OmniParser 模型具有不同的許可（參考）。