Desktop Automation

🚀 桌面自動化服務器

桌面自動化服務器是一個提供桌面自動化功能的模型上下文協議（MCP）服務器，它藉助RobotJS和截圖功能，讓大語言模型（LLMs）能夠控制鼠標移動、鍵盤輸入，還能捕獲桌面環境的屏幕截圖，為大語言模型與桌面交互提供了便利。

🚀 快速開始

以下是配置Claude Desktop以使用MCP桌面自動化服務器的方法：

NPX命令

{
  "mcpServers": {
    "desktop-automation": {
      "command": "npx",
      "args": ["-y", "mcp-desktop-automation"]
    }
  }
}

權限要求

此服務器需要系統級權限來執行以下操作：

• 捕獲屏幕截圖
• 控制鼠標移動和點擊
• 模擬鍵盤輸入

當首次運行Claude Desktop並使用此服務器時，可能需要在操作系統的安全設置中授予這些權限。

📚 詳細文檔

限制

儘管該服務器可以與各種MCP客戶端一起使用，但它主要經過測試與Claude Desktop兼容。

⚠️ 重要提示

當前實現有一個1MB的響應大小限制。對於屏幕截圖來說，這意味著：

• 高分辨率的截圖可能會超出此限制並導致失敗
• 測試表明800x600分辨率可靠工作
• 如果遇到問題，請考慮降低屏幕分辨率或捕獲特定區域的屏幕

系統要求

• Node.js（>=14.x）

組件

工具

• get_screen_size

  • 功能：獲取屏幕尺寸
  • 輸入參數：無

• screen_capture

  • 功能：捕獲當前屏幕內容
  • 輸入參數：無

• keyboard_press

  • 功能：按下鍵盤上的一個鍵或組合鍵
  • 輸入參數：
    • key（字符串，必需）：要按下的鍵（例如，“enter”，“a”，“control”）
    • modifiers（字符串數組，可選）：按下時需要保持的修飾鍵。可能值：“control”，“shift”，“alt”，“command”

• keyboard_type

  • 功能：在當前光標位置輸入文本
  • 輸入參數：text（字符串，必需）：要輸入的文本

• mouse_click

  • 功能：執行鼠標點擊
  • 輸入參數：
    • button（字符串，可選，默認值：“left”）：要點擊的鼠標按鈕。可能值：“left”，“right”，“middle”
    • double（布爾值，可選，默認值：false）：是否執行雙擊

• mouse_move

  • 功能：將鼠標移動到指定座標
  • 輸入參數：
    • x（數字，必需）：X座標
    • y（數字，必需）：Y座標

資源訪問

該服務器提供對屏幕截圖的訪問：

1. 屏幕截圖列表 (screenshot://list)

• 功能：列出所有可用屏幕截圖的名稱

2. 屏幕截圖內容 (screenshot://{id})

• 功能：獲取屏幕截圖的PNG圖像
• 訪問方式：通過屏幕截圖ID（基於時間戳命名）即可訪問