Paint Ai Agent

🚀 畫圖繪製代理

畫圖繪製代理是一個基於Python的自動化工具，它藉助Google的Gemini AI，讓用戶可以通過自然語言指令來控制Microsoft Paint。用戶只需使用簡單的英文指令，就能在MS Paint中繪製各種形狀、插入文本，還能進行顏色管理，極大地提升了繪圖的便捷性。

🚀 快速開始

先決條件

• Windows 10或更高版本
• Python 3.8+
• Microsoft Paint (mspaint.exe)
• Google Cloud API密鑰用於Gemini AI

安裝步驟

1. 克隆倉庫：

git clone [倉庫地址]
cd paint-drawing-agent

2. 安裝所需的依賴項：

pip install -r requirements.txt

3. 在項目根目錄中創建一個.env文件，並添加您的Google API密鑰：

GOOGLE_API_KEY=your_api_key_here

啟動程序

1. 啟動畫圖繪製代理：

python talk2mcp.py

2. 輸入自然語言指令，例如：

• "在中心畫一個紅色的圓"
• "在頂部寫'Hello World'並用黑色顯示"
• "在右側繪製一個藍色矩形"

3. 要退出程序，請輸入'quit'

✨ 主要特性

• 自然語言控制MS Paint，讓繪圖操作更簡單。
• 自動繪製形狀，如圓形、矩形、直線。
• 支持文本插入，並能進行位置控制。
• 可進行顏色選擇和管理。
• 具備窗口管理和畫布定位功能。
• 詳細日誌記錄和錯誤處理，方便排查問題。
• 擁有位置校準系統，確保繪圖位置準確。

📦 安裝指南

克隆倉庫

git clone [倉庫地址]
cd paint-drawing-agent

安裝依賴

pip install -r requirements.txt

配置API密鑰

在項目根目錄中創建一個.env文件，並添加您的Google API密鑰：

GOOGLE_API_KEY=your_api_key_here

💻 使用示例

基礎用法

python talk2mcp.py

輸入以下指令即可開始繪圖：

> 在中心畫一個紅色的圓
> 在頂部寫'Hello World'並用黑色顯示
> 在座標400,300處繪製一個藍色矩形
> 從頂部到底部畫一條綠色直線

高級用法

若遇到繪製位置不準確的問題，可重新校準系統：

1. 運行校準腳本：

python enhanced_calibrate.py

2. 按照屏幕上的指示進行工具位置校準

📚 詳細文檔

項目結構

paint-drawing-agent/
├── talk2mcp.py           # 主應用程序文件
├── tools/                # 核心自動化工具
│   ├── __init__.py
│   └── paint_commands.py # Paint自動化命令
├── calibration_profiles/ # 存儲的校準數據
├── LLM_LOGS/            # AI交互日誌
├── logs/                # 應用程序日誌
└── requirements.txt     # 項目依賴項

校準

系統使用校準系統來精確定位Paint界面元素。要重新校準：

1. 運行校準腳本：

python enhanced_calibrate.py

2. 按照屏幕上的指示進行工具位置校準

日誌記錄

系統維護多種類型的日誌：

• 應用程序日誌：/logs/paint_agent_[時間戳].log
• AI交互日誌：/LLM_LOGS/session_log.json
• 校準日誌：/calibration_profiles/

錯誤處理

系統包含全面的錯誤處理功能，包括：

• 窗口管理問題
• 繪製操作失敗
• AI通信錯誤
• 位置校準問題

貢獻指南

1. 叉克隆倉庫
2. 創建功能分支
3. 提交您的更改
4. 推送到分支
5. 創建拉取請求

故障排除

常見問題及解決方案：

1. 未找到Paint窗口

   • 確保MS Paint已安裝
   • 先手動運行Paint再試一次

2. 繪製位置問題

   • 重新運行校準程序
   • 檢查屏幕分辨率與校準是否匹配

3. AI通信錯誤

   • 驗證.env文件中的API密鑰
   • 檢查互聯網連接

🔧 技術細節

該項目利用Google的Gemini AI進行自然語言處理，將用戶輸入的英文指令轉換為可執行的繪圖操作。同時，使用PyAutoGUI進行GUI自動化，Win32GUI進行Windows交互，實現對Microsoft Paint的控制。通過位置校準系統，確保繪圖位置的準確性。詳細日誌記錄和全面的錯誤處理功能，方便用戶排查和解決問題。

📄 許可證

[此處放置您的許可證信息]

致謝

• Google Gemini AI用於自然語言處理
• PyAutoGUI用於GUI自動化
• Win32GUI用於Windows交互