Pymcpautogui

PyMCPAutoGUIは、MCPプロトコルを通じてAIエージェントにグラフィカルユーザーインターフェイス(GUI)の自動化機能を提供するツールで、マウスキーボード制御、スクリーンショット、ウィンドウ管理などの操作をサポートし、CursorエディタなどのMCP互換環境にシームレスに統合できます。

オペレーティングシステム自動化開発者ツール #GUI自動化 #AIエージェント #マウス制御 #キーボードシミュレーション .Python

スコア : 2ポイント

ダウンロード数 : 13

更新時間 : 2025-04-29

PyMCPAutoGUIとは？

PyMCPAutoGUIはModel Context Protocol (MCP)に基づくデスクトップ自動化ツールで、AIエージェントがマウス、キーボード、ウィンドウ操作を通じてデスクトップアプリケーションと対話できます。

PyMCPAutoGUIの使い方は？

サーバーを起動し、MCPクライアントに統合するだけで使用を開始できます。簡単なコマンドでデスクトップの自動化を実現します。

適用シーン

ソフトウェアテスト、繰り返し作業、データ分析など、自動化が必要なタスクに適しています。

主要機能

スクリーンショット画面画像をキャプチャしてファイルに保存します。

マウス制御マウスポインタの移動、クリック、ドラッグなどの操作を行います。

ウィンドウ管理ウィンドウのアクティブ化、最小化、最大化を行います。

キーボード入力キーボードのキーをシミュレートし、文字を入力します。

ダイアログ確認、ヒント、パスワード入力ボックスを表示します。

利点と制限

利点

作業効率を向上させ、繰り返し作業を減らします。

複数のオペレーティングシステムをサポートします。

既存のシステムに容易に統合できます。

複雑な操作をサポートする強力なAPIがあります。

制限

依存関係（例：`pyautogui`）をインストールする必要があります。

一部の機能はオペレーティングシステムの制限を受ける場合があります。

管理者権限で実行する必要がある場合があります。

使い方

PyMCPAutoGUIのインストール

仮想環境を作成し、PyMCPAutoGUIをインストールします。

サーバーの起動

ターミナルでサーバーコマンドを実行します。

MCPクライアントの設定

PyMCPAutoGUIをCursorまたは他のMCPクライアントの設定に追加します。

使用例

例1：メモ帳を開き、テキストを入力するPyMCPAutoGUIを使って自動的にメモ帳を開き、テキストを入力します。

例2：スクリーンショットを撮影して保存する画面全体をキャプチャし、画像として保存します。

よくある質問

PyMCPAutoGUIはLinuxをサポートしていますか？

サーバーを停止するにはどうすればいいですか？

🚀 PyMCPAutoGUI 🖱️⌨️🖼️ - MCPを通じたグラフィカルユーザーインターフェイス自動化

あなたのAIエージェントの能力をさらに高めましょう！ ✨ PyMCPAutoGUIは、あなたのAIエージェント（CursorなどのMCP互換環境）とコンピューターのグラフィカルユーザーインターフェイス（GUI）の間に架ける橋となります。エージェントが画面を見ることができ、マウスとキーボードを操作し、ウィンドウと対話できるようになります。人間のユーザーと同じです！

面倒な手動のGUIタスクをやめ、AIに重い作業を任せましょう 💪。繰り返しのアクションの自動化、GUIのテスト、強力なAIアシスタントの構築に最適です 🤖。

🚀 クイックスタート

PyMCPAutoGUIは、あなたのAIエージェントとコンピューターのGUIの間に橋を架けます。これにより、エージェントは画面を見ることができ、マウスとキーボードを操作し、ウィンドウと対話できます。

✨ 主な機能

エージェントがMCPプロトコルを通じて直接PyAutoGUIとPyGetWindowの機能を呼び出せるようにする。
完全に非侵入的な設計で、基盤となるライブラリを変更しない。
マルチスレッド処理をサポートし、安定した動作を保証する。
詳細なログ記録とエラー処理メカニズムを提供する。
さまざまなニーズに合わせてカスタム設定をサポートする。

📦 インストール

pip install pymcpautogui

🔧 技術詳細

PyMCPAutoGUIは以下のような設定可能なパラメータを提供します。

パラメータ名	タイプ	デフォルト値	説明
pause	float	0.1	各アクション間の一時停止時間
failsafe	bool	True	緊急脱出モード（左上へのドラッグ）を有効にするかどうか
log_level	str	'info'	ログ記録レベル（debug, info, warning, error, critical）
mouse_speed	float	1.0	マウスの移動速度係数
keyboard_delay	float	0.05	キーボードのキー押下の遅延時間

💻 使用例

基本的な使用法

# 基本的なマウス操作
@PyMCPAutoGUI move_to(x=100, y=200)
@PyMCPAutoGUI click(button='left')
@PyMCPAutoGUI drag_to(x=300, y=400)

# キーボード入力の例
@PyMCPAutoGUI write(text='Hello AI!', interval=0.1)
@PyMCPAutoGUI hotkey('ctrl', 'c')

# ウィンドウ管理
@PyMCPAutoGUI get_all_titles
@PyMCPAutoGUI activate_window(title='Notepad')
@PyMCPAutoGUI minimize_window()

# スクリーンショット機能
@PyMCPAutoGUI screenshot(filename='snapshot.png')