Mspaint MCP Server

🚀 模型上下文協議（MCP）畫圖應用程序自動化

本項目展示瞭如何藉助模型上下文協議（MCP）實現與遺留Windows應用程序（MSPaint）的自動化交互。它運用pywinauto對繪圖應用程序進行控制，並藉助fastmcp定義工具，這些工具可供AI代理調用。由Google的Gemini模型提供支持的AI代理，能夠依據自然語言指令執行任務，例如在Paint畫布上繪製矩形以及添加文本。

🚀 快速開始

要求

• Python版本：3.6及以上
• 依賴項：
  • python-dotenv
  • http.server
  • argparse

設置

1. 安裝所需的Python包：

   pip install python-dotenv
   

2. 下載並安裝MCP協議的最新版本。
3. 將requirements.txt中的所有依賴項安裝到您的環境中。
4. 配置環境變量，將Google Gemini API密鑰存儲在.env文件中：

   GEMINI_API_KEY=your_api_key_here
   

使用方法

1. 運行MCP服務器：

   python mcp_server.py --port 8000
   

2. 啟動MCP客戶端：

   python mcp_client.py --mode automation
   

✨ 主要特性

• 此項目展示瞭如何通過AI代理自動化控制MSPaint。代理可以打開Paint、繪製矩形和添加文本，所有操作均由自然語言指令驅動。
• 通過模型上下文協議（MCP），AI代理能夠調用定義在Python代碼中的特定函數。

📦 安裝指南

安裝步驟

1. 安裝所需的Python包：

   pip install python-dotenv
   

2. 下載並安裝MCP協議的最新版本。
3. 將requirements.txt中的所有依賴項安裝到您的環境中。
4. 配置環境變量，將Google Gemini API密鑰存儲在.env文件中：

   GEMINI_API_KEY=your_api_key_here
   

📚 詳細文檔

模型上下文協議（MCP）

模型上下文協議（MCP）是一個框架，使AI模型能夠與外部工具和資源交互。它提供了一種標準方式，供模型調用功能、檢索數據並執行現實世界中的操作。在此項目中，MCP用於將Paint自動化功能作為工具公開，這些工具可以由AI代理調用。

項目結構

├── MSPaint-MCP-Server/
│ ├── mcp_server.py # 定義包含Paint自動化功能的MCP服務器
│ ├── mcp_client.py # 定義與服務器和AI模型交互的MCP客戶端
│ ├── requirements.txt # 列出項目依賴項
│ └── .env # 存儲Google Gemini API密鑰

工作原理

• MCP協議：作為通信橋樑，連接AI代理和Paint應用程序。
• 自然語言處理：AI代理解析用戶指令並選擇適當的工具執行操作。
• 繪圖自動化：利用pywinauto庫控制Paint窗口，實現圖形繪製。

關鍵組件

• mcp_server.py：負責接收和處理來自客戶端的請求，管理與Paint應用程序的交互。
• mcp_client.py：作為用戶界面，接收輸入指令並調用相應的MCP服務。
• requirements.txt：列出項目所需的所有Python包。
• .env：存儲敏感信息如API密鑰。

故障排除

• 權限問題：以管理員身份運行腳本。
• 座標問題：根據屏幕分辨率和窗口大小調整座標，使用代碼中的調試打印語句確定正確座標。
• 工具選擇問題：檢查系統提示，確保工具描述準確無誤。
• API密鑰問題：確認.env文件中正確設置了Gemini API密鑰。

貢獻

歡迎貢獻！請通過提交拉取請求的方式分享您的更改。

📄 許可證

MIT許可證