Screenpilot

🚀 屏幕控制專家

屏幕控制專家（ScreenPilot）藉助MCP服務器，讓大語言模型全面掌控你的設備。它提供了屏幕自動化工具包，可對圖形用戶界面進行控制和交互，廣泛適用於自動化、教育和娛樂等領域。

🚀 快速開始

屏幕控制專家能讓大語言模型全面掌控你的設備，實現屏幕自動化控制與交互。

✨ 主要特性

• 📷 屏幕捕獲與分析
• 🖱️ 鼠標控制（點擊、定位）
• ⌨️ 鍵盤輸入（打字、按鍵、熱鍵）

📦 安裝指南

0. 安裝Python 3.12
1. 克隆倉庫：

   git clone https://github.com/Mtehabsim/ScreenPilot.git
   

2. 創建虛擬環境

python -m venv venv

3. 激活虛擬環境

venv\Scripts\activate

4. 安裝所需包：

pip install -r requirements.txt

5. 打開Claude AI桌面
6. 文件 -> 設置 -> 開發者 -> 編輯配置
7. 打開配置文件並粘貼以下內容：

{
    "mcpServers": {
        "device-controll": {
            "command": "pathToEnv\\venv\\Scripts\\python.exe",
            "args": [
                "pathToProject\\ScreenPilot\\main.py"
            ]
        }
    }
}

8. 替換
   “pathToEnv\\venv\\Scripts\\python.exe” → 你的python.exe的完整路徑
   “pathToProject\\ScreenPilot\\main.py” → 你的main.py文件的完整路徑

9. 保存配置文件。

10. 打開Claude AI桌面。

11. 轉到文件 -> 退出

12. 現在你可以打開Claude AI桌面並享受ScreenPilot。

可用工具

• 屏幕捕獲：截取屏幕並獲取屏幕信息
• 鼠標控制：移動鼠標並執行點擊
• 鍵盤操作：輸入文本、按鍵和使用熱鍵組合
• 滾動：在不同方向和具體位置進行滾動
• 元素檢測：檢查屏幕上是否存在元素並等待其出現
• 動作序列：按順序執行多個動作

🤝 貢獻

歡迎貢獻！請隨時提交Pull Request。