Mspaint MCP Server

このプロジェクトは、Model Context Protocol (MCP)フレームワークを通じてAIエージェントによるWindows描画プログラム（MSPaint）の自動制御を実現し、pywinautoを利用して描画ツールを操作し、Geminiモデルを組み合わせて自然言語の指示による描画機能を実現します。

オペレーティングシステム自動化画像とビデオ処理 #AI自動化 #MCPプロトコル #描画制御 .Python

rating : 2 points

downloads : 16

update time : 2025-04-29

MSPaint MCPサービスとは？

これは、Windowsの描画プログラム（MSPaint）をAIインテリジェントエージェントに接続するサービスです。Model Context Protocol（MCP）プロトコルを通じて、ユーザーは自然言語の指示でAIに描画プログラムの開啟、図形の描画、文字の追加などの操作を自動的に実行させることができます。

MSPaint MCPサービスの使用方法は？

Python環境をインストールしてクライアントプログラムを実行し、「描画で青い矩形を描画して文字を追加する」などの指示をAIに送信するだけです。

適用シナリオ

簡単な描画タスクの自動化が必要なシナリオ、例えば、簡易図の迅速な作成、教育デモ、自動テストなどに適しています。

主要機能

描画プログラムの制御Windowsの描画プログラムを自動的に開閉し、ウィンドウのサイズと位置を制御します。

基本的な描画機能矩形の描画、色の選択などの基本的な描画操作をサポートします。

文字の追加キャンバスの指定位置にカスタム文字内容を追加します。

利点と制限

利点

プログラミング知識がなくても描画操作を自動化できます。

自然言語の指示で制御するため、使い方が簡単で直感的です。

他のAI機能と組み合わせて複雑な自動化プロセスを実現できます。

制限

Windowsシステムのみをサポートします。

描画機能は比較的基本的で、複雑な図形はサポートしていません。

座標の位置決めは画面解像度によって調整が必要な場合があります。

使用方法

環境のインストール

Python 3.11+とConda環境管理ツールをインストールします。

依存関係のインストール

pipを使用して必要なPythonパッケージをインストールします。

APIキーの設定

.envファイルでGemini APIキーを設定します。

クライアントの実行

MCPクライアントプログラムを起動して使用を開始します。

使用例

簡易図の作成説明文字付きの簡単な図形を迅速に描画します。

教育デモ基本的な描画操作を自動化してデモします。

よくある質問

なぜ私の描画プログラムが正しく応答しないのですか？

どのような描画操作がサポートされていますか？

どのようなハードウェア構成が必要ですか？

🚀 モデルコンテキストプロトコル（MCP）による描画アプリケーションの自動化

このプロジェクトは、モデルコンテキストプロトコル（MCP）を使用して、レガシーなWindowsアプリケーション（MSPaint）との自動化された対話を実現する方法を示しています。pywinautoを利用して描画アプリケーションを制御し、fastmcp定義ツールを使用します。これらのツールはAIエージェントによって呼び出されます。AIエージェントはGoogleのGeminiモデルによって提供され、自然言語指令によってPaintキャンバス上で矩形を描画したり、テキストを追加したりするタスクを実行できます。

🚀 クイックスタート

このプロジェクトでは、AIエージェントを使ってMSPaintを自動制御する方法を紹介しています。エージェントは自然言語指令に基づいて、Paintを開いたり、矩形を描画したり、テキストを追加したりすることができます。

✨ 主な機能

モデルコンテキストプロトコル（MCP）を使用して、AIモデルが外部ツールとリソースとの対話を可能にします。
AIエージェントが自然言語指令に基づいて、Paintアプリケーションを自動制御します。
pywinautoを利用して、Paintウィンドウを制御し、図形の描画を自動化します。

📦 インストール

必要条件

Pythonバージョン：3.6以上
依存関係：
- python-dotenv
- http.server
- argparse

セットアップ手順

必要なPythonパッケージをインストールします。
```
pip install python-dotenv
```
MCPプロトコルの最新バージョンをダウンロードしてインストールします。
requirements.txtに記載されたすべての依存関係を環境にインストールします。
環境変数を設定し、Google Gemini APIキーを.envファイルに保存します。
```
GEMINI_API_KEY=your_api_key_here
```

💻 使用例

基本的な使用法

MCPサーバーを起動します。
```
python mcp_server.py --port 8000
```
MCPクライアントを起動します。
```
python mcp_client.py --mode automation
```

📚 ドキュメント

モデルコンテキストプロトコル（MCP）

モデルコンテキストプロトコル（MCP）は、AIモデルが外部ツールやリソースと対話するためのフレームワークです。モデルが機能を呼び出し、データを取得し、現実世界の操作を実行するための標準的な方法を提供します。このプロジェクトでは、MCPを使用してPaint自動化機能をツールとして公開し、AIエージェントが呼び出せるようにしています。

プロジェクト構造

├── MSPaint-MCP-Server/
│ ├── mcp_server.py # Paint自動化機能を含むMCPサーバーを定義する
│ ├── mcp_client.py # サーバーとAIモデルとの対話を定義するMCPクライアント
│ ├── requirements.txt # プロジェクトの依存関係を列挙する
│ └── .env # Google Gemini APIキーを保存する