Mspaint MCP Server V2

🚀 使用基於 Google Gemini 的 AI 代理自動化 MSPaint 應用

本項目展示瞭如何藉助 Google Gemini 模型，通過中間件控制協議（MCP）服務器來實現 MSPaint 應用的自動化控制。AI 代理能夠接收復雜的數學表達式，逐步完成計算與結果驗證，並將最終答案繪製於 MSPaint 之中。

🚀 快速開始

本項目利用 Google Gemini 模型和 MCP 服務器，實現 MSPaint 應用的自動化控制及數學表達式的計算與繪製。以下是啟動項目的基本步驟：

1. 啟動 MCP 服務器：

python mcp_server.py

2. 啟動 MCP 客戶端：

python mcp_client.py

✨ 主要特性

• 自動化控制：藉助 pywinauto 庫實現對 MSPaint 應用的自動化操作。
• 數學運算與驗證：提供多種數學運算工具，並能對計算結果進行驗證。
• AI 驅動：利用 Google Gemini 模型生成指令，解決數學表達式。

📦 安裝指南

步驟 1：創建 Conda 虛擬環境

conda create -n eagenv python=3.11
conda activate eagenv

步驟 2：安裝依賴包

pip install -r requirements.txt

步驟 3：配置 Gemini API 密鑰

創建一個名為 .env 的文件，並添加以下內容：

GEMINI_API_KEY=your_api_key_here

💻 使用示例

基礎用法

MCP 服務器 (mcp_server.py)

from fastmcp import MCPServer

class MSPaintMCP(MCPServer):
    def __init__(self):
        super().__init__()
        self.add_tool(open_paint)
        self.add_tool(draw_rectangle)
        self.add_tool(add_text_in_paint)
        # 添加其他工具...

if __name__ == "__main__":
    server = MSPaintMCP()
    server.start()

MCP 客戶端 (mcp_client.py)

from fastmcp import MCPClient

client = MCPClient('localhost', 5000)
client.send_goal("solve_math_expression", {
    'expression': '123 + 456 * 789',
    'draw_result': True
})

📚 詳細文檔

項目架構

MCP 服務器 (mcp_server.py)

• 主要功能：定義與 MSPaint 交互的工具（如 open_paint, draw_rectangle, add_text_in_paint）以及各種數學運算工具（如 add, subtract, multiply, divide, verify_calculation, verify_consistency）。
• 技術亮點：
  • 使用 pywinauto 庫實現對 MSPaint 應用的自動化控制。
  • 通過 fastmcp 庫將這些工具暴露給外部客戶端。

MCP 客戶端 (mcp_client.py)

• 主要功能：連接到 MCP 服務器，利用 Google Gemini 模型生成指令並解決數學表達式。
• 實現細節：
  • 設置系統提示詞以定義 AI 的行為邊界和可用工具。
  • 解析模型輸出以確定調用的工具及其參數。
  • 處理工具響應，並將其反饋給模型進行下一步操作。

核心組件

系統提示詞（由 mcp_client.py 提供）

系統提示詞定義了 AI 的行為邊界和可用工具。以下是一個簡化示例：

• 定義可調用的工具及其功能。
• 指定數學表達式的求解步驟，包括逐步計算和驗證。

可用工具

MSPaint 控制工具

1. open_paint(): 打開 MSPaint 應用。
2. draw_rectangle(x1, y1, x2, y2): 在指定座標繪製矩形。
3. add_text_in_paint(text, x, y): 在指定位置添加文本。

數學運算工具

1. add(a, b): 返回 a 和 b 的和。
2. subtract(a, b): 返回 a 減去 b 的結果。
3. multiply(a, b): 返回 a 乘以 b 的結果。
4. divide(a, b): 返回 a 除以 b 的結果，需處理除零異常。

驗證工具

1. verify_calculation(a, b, expected_result): 驗證 a 和 b 的計算是否與預期結果一致。
2. verify_consistency(steps): 確保所有計算步驟的正確性。

項目依賴

• Python 版本：3.11+
• 推薦使用 Conda 管理環境
• 其他依賴：
  • pywin32
  • pywinauto
  • fastmcp
  • python-dotenv
  • google-genai
  • rich

🔧 技術細節

• 自動化控制：使用 pywinauto 庫實現對 MSPaint 應用的自動化操作，通過模擬用戶操作實現應用的啟動、繪製等功能。
• AI 交互：通過 fastmcp 庫將工具暴露給 Google Gemini 模型，模型根據系統提示詞生成指令，調用相應工具解決數學表達式。

注意事項

⚠️ 重要提示

• 確保所有工具調用都包含適當的異常處理。
• 根據需要優化圖形繪製和數學計算的效率。

貢獻指南

歡迎提交問題報告和功能建議，詳情請參考項目倉庫。