Mspaint MCP Server V2

🚀 Google Gemini を利用した AI エージェントによる MSPaint アプリの自動化

このプロジェクトでは、Google Gemini モデルを利用し、中間件制御プロトコル（MCP）サーバーを介して MSPaint アプリを自動制御する方法を紹介します。AI エージェントは複雑な数式を受け取り、段階的に計算して結果を検証し、最終的な答えを MSPaint で描画します。

🚀 クイックスタート

このプロジェクトを使用するには、まず必要な環境をセットアップし、サーバーとクライアントを起動する必要があります。以下に手順を示します。

✨ 主な機能

• AI エージェントが複雑な数式を受け取り、段階的に計算して結果を検証します。
• MSPaint アプリを自動制御し、最終的な答えを描画します。
• MCP サーバーとクライアントを介して、Google Gemini モデルを利用して指令を生成します。

📦 インストール

ステップ 1：Conda 仮想環境の作成

conda create -n eagenv python=3.11
conda activate eagenv

ステップ 2：依存パッケージのインストール

pip install -r requirements.txt

ステップ 3：Gemini API キーの設定

.env という名前のファイルを作成し、以下の内容を追加します。

GEMINI_API_KEY=your_api_key_here

💻 使用例

基本的な使用法

1. MCP サーバーの起動：

python mcp_server.py

2. MCP クライアントの起動：

python mcp_client.py

高度な使用法

MCP サーバー (mcp_server.py)

from fastmcp import MCPServer

class MSPaintMCP(MCPServer):
    def __init__(self):
        super().__init__()
        self.add_tool(open_paint)
        self.add_tool(draw_rectangle)
        self.add_tool(add_text_in_paint)
        # 他のツールを追加...

if __name__ == "__main__":
    server = MSPaintMCP()
    server.start()

MCP クライアント (mcp_client.py)

from fastmcp import MCPClient

client = MCPClient('localhost', 5000)
client.send_goal("solve_math_expression", {
    'expression': '123 + 456 * 789',
    'draw_result': True
})

📚 ドキュメント

プロジェクトアーキテクチャ

MCP サーバー (mcp_server.py)

• 主な機能：MSPaint とのやり取りに必要なツール（open_paint, draw_rectangle, add_text_in_paint など）や、様々な数学演算ツール（add, subtract, multiply, divide, verify_calculation, verify_consistency など）を定義します。
• 技術的な特長：
  • pywinauto ライブラリを使用して MSPaint アプリを自動制御します。
  • fastmcp ライブラリを介してこれらのツールを外部クライアントに公開します。

MCP クライアント (mcp_client.py)

• 主な機能：MCP サーバーに接続し、Google Gemini モデルを利用して指令を生成し、数式を解きます。
• 実装の詳細：
  • AI の動作範囲と利用可能なツールを定義するためのシステムプロンプトを設定します。
  • モデルの出力を解析して、呼び出すツールとそのパラメータを決定します。
  • ツールの応答を処理し、モデルにフィードバックして次の操作を行います。

コアコンポーネント

システムプロンプト（mcp_client.py で提供）

システムプロンプトは AI の動作範囲と利用可能なツールを定義します。以下は簡略化した例です。

• システムプロンプトの内容：
  • 呼び出し可能なツールとその機能を定義します。
  • 数式の解き方の手順を指定し、段階的な計算と検証を含みます。

利用可能なツール

MSPaint 制御ツール

1. open_paint(): MSPaint アプリを開きます。
2. draw_rectangle(x1, y1, x2, y2): 指定された座標に矩形を描画します。
3. add_text_in_paint(text, x, y): 指定された位置にテキストを追加します。

数学演算ツール

1. add(a, b): a と b の和を返します。
2. subtract(a, b): a から b を引いた結果を返します。
3. multiply(a, b): a と b の積を返します。
4. divide(a, b): a を b で割った結果を返し、除算がゼロになる場合は例外を処理します。

検証ツール

1. verify_calculation(a, b, expected_result): a と b の計算結果が期待値と一致するかを検証します。
2. verify_consistency(steps): すべての計算ステップの正しさを確認します。

🔧 技術詳細

• MCP サーバー：pywinauto ライブラリを使用して MSPaint アプリを自動制御し、fastmcp ライブラリを介してツールを外部に公開します。
• MCP クライアント：Google Gemini モデルを利用して指令を生成し、システムプロンプトを設定して AI の動作を制御します。

注意事項

⚠️ 重要提示

すべてのツール呼び出しに適切な例外処理を含めるようにしてください。

💡 使用建议

必要に応じて、グラフィック描画と数学計算の効率を最適化してください。

貢献ガイド

問題報告や機能提案の投稿を歓迎します。詳細はプロジェクトリポジトリを参照してください。