Pymcpautogui

PyMCPAutoGUI是一個通過MCP協議為AI代理提供圖形用戶界面(GUI)自動化能力的工具，支持鼠標鍵盤控制、屏幕截圖、窗口管理等操作，可無縫集成Cursor編輯器等MCP兼容環境。

操作系統自動化開發者工具 #GUI自動化 #AI代理 #鼠標控制 #鍵盤模擬 .Python

評分 : 2分

下載量 : 8

更新時間 : 2025-04-29

什麼是PyMCPAutoGUI?

PyMCPAutoGUI是一個基於Model Context Protocol (MCP)的桌面自動化工具，它允許您的AI代理通過鼠標、鍵盤和窗口操作與桌面應用程序交互。

如何使用PyMCPAutoGUI?

只需啟動服務器並將其集成到您的MCP客戶端中，即可開始使用。通過簡單的命令實現桌面自動化。

適用場景

適用於需要自動化的任務，例如軟件測試、重複性操作、數據分析等。

主要功能

屏幕截圖捕捉屏幕圖像並保存到文件。

鼠標控制移動鼠標指針、點擊、拖動等操作。

窗口管理激活、最小化、最大化窗口。

鍵盤輸入模擬鍵盤按鍵和輸入文字。

對話框顯示確認、提示和密碼輸入框。

優勢與侷限性

優勢

提高工作效率，減少重複性勞動。

支持多種操作系統。

易於集成到現有系統中。

強大的API支持複雜操作。

侷限性

需要安裝依賴項（如`pyautogui`）。

某些功能可能受操作系統限制。

可能需要管理員權限運行。

如何使用

安裝PyMCPAutoGUI

創建虛擬環境並安裝PyMCPAutoGUI。

啟動服務器

在終端中運行服務器命令。

配置MCP客戶端

將PyMCPAutoGUI添加到Cursor或其他MCP客戶端的配置中。

使用案例

案例1：打開記事本並輸入文本通過PyMCPAutoGUI自動打開記事本並輸入一段文字。

案例2：截圖並保存捕捉整個屏幕並保存為圖片。

常見問題

PyMCPAutoGUI是否支持Linux？

如何停止服務器？

🚀 PyMCPAutoGUI 🖱️⌨️🖼️ - 基於MCP的圖形用戶界面自動化工具

PyMCPAutoGUI 能夠在你的 AI 代理（如 Cursor 或其他兼容 MCP 的環境）與計算機圖形用戶界面（GUI）之間搭建橋樑。它賦予 AI 代理觀察屏幕 👁️、操控鼠標 🖱️ 和鍵盤 ⌨️ 以及與窗口進行交互 🪟 的能力，如同人類用戶一般。藉助它，你可以告別繁瑣的手動 GUI 任務，讓 AI 承擔繁重工作 💪。該工具非常適合自動化重複操作、進行 GUI 測試或構建強大的 AI 助手 🤖。

🚀 快速開始

安裝

pip install pymcpautogui

配置

PyMCPAutoGUI 提供以下可配置參數：

參數名	類型	默認值	描述
pause	float	0.1	每次動作之間的暫停時間
failsafe	bool	True	是否啟用緊急逃脫模式（左上角拖拽）
log_level	str	'info'	日誌記錄級別（debug, info, warning, error, critical）
mouse_speed	float	1.0	鼠標移動速度因子
keyboard_delay	float	0.05	鍵盤按鍵延遲

使用示例

在支持 MCP 的客戶端中使用：

基礎用法

# 基本鼠標操作
@PyMCPAutoGUI move_to(x=100, y=200)
@PyMCPAutoGUI click(button='left')
@PyMCPAutoGUI drag_to(x=300, y=400)

# 鍵盤輸入示例
@PyMCPAutoGUI write(text='Hello AI!', interval=0.1)
@PyMCPAutoGUI hotkey('ctrl', 'c')

# 窗口管理
@PyMCPAutoGUI get_all_titles
@PyMCPAutoGUI activate_window(title='Notepad')
@PyMCPAutoGUI minimize_window()

# 截圖功能
@PyMCPAutoGUI screenshot(filename='snapshot.png')