Pymcpautogui

PyMCPAutoGUI是一个通过MCP协议为AI代理提供图形用户界面(GUI)自动化能力的工具，支持鼠标键盘控制、屏幕截图、窗口管理等操作，可无缝集成Cursor编辑器等MCP兼容环境。

操作系统自动化开发者工具 #GUI自动化 #AI代理 #鼠标控制 #键盘模拟 .Python

评分 : 2分

下载量 : 13

更新时间 : 2025-04-29

什么是PyMCPAutoGUI?

PyMCPAutoGUI是一个基于Model Context Protocol (MCP)的桌面自动化工具，它允许您的AI代理通过鼠标、键盘和窗口操作与桌面应用程序交互。

如何使用PyMCPAutoGUI?

只需启动服务器并将其集成到您的MCP客户端中，即可开始使用。通过简单的命令实现桌面自动化。

适用场景

适用于需要自动化的任务，例如软件测试、重复性操作、数据分析等。

主要功能

屏幕截图捕捉屏幕图像并保存到文件。

鼠标控制移动鼠标指针、点击、拖动等操作。

窗口管理激活、最小化、最大化窗口。

键盘输入模拟键盘按键和输入文字。

对话框显示确认、提示和密码输入框。

优势与局限性

优势

提高工作效率，减少重复性劳动。

支持多种操作系统。

易于集成到现有系统中。

强大的API支持复杂操作。

局限性

需要安装依赖项（如`pyautogui`）。

某些功能可能受操作系统限制。

可能需要管理员权限运行。

如何使用

安装PyMCPAutoGUI

创建虚拟环境并安装PyMCPAutoGUI。

启动服务器

在终端中运行服务器命令。

配置MCP客户端

将PyMCPAutoGUI添加到Cursor或其他MCP客户端的配置中。

使用案例

案例1：打开记事本并输入文本通过PyMCPAutoGUI自动打开记事本并输入一段文字。

案例2：截图并保存捕捉整个屏幕并保存为图片。

常见问题

PyMCPAutoGUI是否支持Linux？

如何停止服务器？

🚀 PyMCPAutoGUI 🖱️⌨️🖼️ - 基于MCP的图形用户界面自动化工具

PyMCPAutoGUI 能够在你的 AI 代理（如 Cursor 或其他兼容 MCP 的环境）与计算机图形用户界面（GUI）之间搭建桥梁。它赋予 AI 代理观察屏幕 👁️、操控鼠标 🖱️ 和键盘 ⌨️ 以及与窗口进行交互 🪟 的能力，如同人类用户一般。借助它，你可以告别繁琐的手动 GUI 任务，让 AI 承担繁重工作 💪。该工具非常适合自动化重复操作、进行 GUI 测试或构建强大的 AI 助手 🤖。

🚀 快速开始

安装

pip install pymcpautogui

配置

PyMCPAutoGUI 提供以下可配置参数：

参数名	类型	默认值	描述
pause	float	0.1	每次动作之间的暂停时间
failsafe	bool	True	是否启用紧急逃脱模式（左上角拖拽）
log_level	str	'info'	日志记录级别（debug, info, warning, error, critical）
mouse_speed	float	1.0	鼠标移动速度因子
keyboard_delay	float	0.05	键盘按键延迟

使用示例

在支持 MCP 的客户端中使用：

基础用法

# 基本鼠标操作
@PyMCPAutoGUI move_to(x=100, y=200)
@PyMCPAutoGUI click(button='left')
@PyMCPAutoGUI drag_to(x=300, y=400)

# 键盘输入示例
@PyMCPAutoGUI write(text='Hello AI!', interval=0.1)
@PyMCPAutoGUI hotkey('ctrl', 'c')

# 窗口管理
@PyMCPAutoGUI get_all_titles
@PyMCPAutoGUI activate_window(title='Notepad')
@PyMCPAutoGUI minimize_window()

# 截图功能
@PyMCPAutoGUI screenshot(filename='snapshot.png')