Paint Ai Agent

🚀 画图绘制代理

このプロジェクトはPythonベースの自動化ツールで、GoogleのGemini AIを利用して自然言語指令によりMicrosoft Paintを制御します。ユーザーは簡単な英語の指令を使って、MS Paintで形状を描画したり、テキストを挿入したり、色を管理したりすることができます。

✨ 主な機能

• 自然言語によるMS Paintの制御
• 形状（円、矩形、直線）の自動描画
• 位置制御付きのテキスト挿入
• 色の選択と管理
• ウィンドウ管理とキャンバスの位置決め
• 詳細なログ記録とエラー処理
• 位置校正システム

📦 インストール

前提条件

• Windows 10以上
• Python 3.8以上
• Microsoft Paint (mspaint.exe)
• Google Cloud APIキー（Gemini AI用）

インストール手順

1. リポジトリをクローンします：

git clone [仓库地址]
cd paint-drawing-agent

2. 必要な依存関係をインストールします：

pip install -r requirements.txt

3. プロジェクトのルートディレクトリに.envファイルを作成し、Google APIキーを追加します：

GOOGLE_API_KEY=your_api_key_here

📚 ドキュメント

プロジェクト構造

paint-drawing-agent/
├── talk2mcp.py           # 主アプリケーションファイル
├── tools/                # 核心自動化ツール
│   ├── __init__.py
│   └── paint_commands.py # Paint自動化コマンド
├── calibration_profiles/ # 保存された校正データ
├── LLM_LOGS/            # AI対話ログ
├── logs/                # アプリケーションログ
└── requirements.txt     # プロジェクトの依存関係

使用方法

1. 画图绘制代理を起動します：

python talk2mcp.py

2. 自然言語の指令を入力します。例えば：

• "在中心画一个红色的圆"（中心に赤色の円を描く）
• "在顶部写'Hello World'并用黑色显示"（上部に'Hello World'と黒色で書く）
• "在右侧绘制一个蓝色矩形"（右側に青色の矩形を描く）

3. プログラムを終了するには、'quit'を入力します。

コマンド例

> 在中心画一个红色的圆
> 在顶部写'Hello World'并用黑色显示
> 在坐标400,300处绘制一个蓝色矩形
> 从顶部到底部画一条绿色直线

校正

システムは校正システムを使用して、Paintのインターフェース要素を正確に位置決めします。再校正するには：

1. 校正スクリプトを実行します：

python enhanced_calibrate.py

2. 画面上の指示に従って、ツールの位置を校正します。

ログ記録

システムは以下のようなさまざまなタイプのログを維持します：

• アプリケーションログ：/logs/paint_agent_[時間戳].log
• AI対話ログ：/LLM_LOGS/session_log.json
• 校正ログ：/calibration_profiles/

エラー処理

システムには包括的なエラー処理機能が備わっており、以下のような問題を扱います：

• ウィンドウ管理の問題
• 描画操作の失敗
• AI通信エラー
• 位置校正の問題

貢献ガイド

1. リポジトリをフォークします。
2. 機能ブランチを作成します。
3. 変更をコミットします。
4. ブランチにプッシュします。
5. プルリクエストを作成します。

トラブルシューティング

一般的な問題と解決策：

1. Paintウィンドウが見つからない

   • MS Paintがインストールされていることを確認してください。
   • 手動でPaintを起動してから再度試してみてください。

2. 描画位置の問題

   • 校正プログラムを再実行してください。
   • 画面解像度と校正が一致していることを確認してください。

3. AI通信エラー

   • .envファイル内のAPIキーを検証してください。
   • インターネット接続を確認してください。

📄 ライセンス

[此处放置您的许可证信息]

謝辞

• Google Gemini AI（自然言語処理用）
• PyAutoGUI（GUI自動化用）
• Win32GUI（Windowsインタラクション用）