Fm MCP Comfyui Bridge

🚀 画像生成ツール

このプロジェクトは、ComfyUIとMCPフレームワークを使用して構築された画像生成ツールです。特定のプロンプトを入力することで画像を生成し、生成された画像の分析機能も提供します。

✨ 主な機能

1. 画像生成
   • 英語のプロンプト（特にDanbooruタグ）を使用して高品質な画像を生成できます。
   • 生成された画像のリンクは、![URL](URL) 形式でMarkdownに直接表示できます。
2. 画像分析
   • 画像のキャプションを取得する機能を提供し、画像の内容を理解するのに役立ちます。
   • 画像の14chan（WD14）タグ情報を抽出して表示し、画像のテーマや要素を分析しやすくします。
3. 自動プロンプト最適化
   • システムは生成結果と元のプロンプトの一致度に基づいて複数回の反復最適化を行い、最終的にユーザーの意図に最も合った画像を生成します。
   • 最大8回の生成と最適化を行い、出力品質を確保します。

📦 インストール

1. プロジェクトの初期化

git clone https://github.com/username/repo.git
cd repo
pip install -r requirements.txt

2. 環境変数の設定

プロジェクトの config.py ファイルに必要な設定を追加します。

# config.py
COMFYUI_API_KEY = "your_api_key_here"
HUGGINGFACE_TOKEN = "your_huggingface_token_here"
OLLAMA_BINARY_PATH = "/path/to/ollama"

3. サービスの起動

メインスクリプトを実行してMCPサーバーを起動します。

python main.py

💻 使用例

基本的な使用法

1. ユーザーが日本語または中国語のプロンプトを入力します。
2. システムが自動的に英語に翻訳し、必要なDanbooruタグ（例："masterpiece, best quality, newest,"）を追加します。
3. ComfyUIを呼び出して画像を生成し、返された画像のリンクを取得します。
4. get_caption と get_tag ツールを使用して画像の内容を分析します。
5. 元のプロンプトと生成結果を比較し、一致しない場合はプロンプトを最適化して生成プロセスを繰り返します。

📚 ドキュメント

プロジェクト構造

コアコンポーネント

• ComfyUI：強力な画像生成インターフェースで、複数のモデルとカスタムノードをサポートします。
• MCP (Magic Command Parser)：特定のコマンドを解析して実行するためのフレームワークで、このツールのコア実行メカニズムです。

主要インターフェース

1. 画像生成

@mcp.tool("image://generate")
def generate_image(
    prompt: str,
    negative_prompt: Optional[str] = None,
    width: int = DEFAULT_WIDTH,
    height: int = DEFAULT_HEIGHT,
    samples: int = DEFAULT_SAMPLES,
    num_inference_steps: int = DEFAULT_STEPS,
) -> str:
    """画像生成インターフェース"""
    return image_url

2. 画像分析

@mcp.tool("image://analyze")
def analyze_image(
    url: str,
) -> Tuple[str, List[str]]:
    """画像のキャプションとWD14タグを取得"""
    pass

3. プロンプト最適化

@mcp.resource("optimizer://prompt")
def optimize_prompt(prompt: str) -> str:
    """以前の生成結果に基づいて新しいプロンプトを最適化"""
    pass

プロジェクトの依存関係

📄 ライセンス

このプロジェクトはMITライセンスに準拠しています。詳細は LICENSE ファイルを参照してください。

作者

• rerofumi: GitHub - rero2@yuumu.org

WD1.4タグ解析部分は、SmilingWolfによって開発された wd - tagger のソースコードとモデルデータを使用しています。モデルデータは初回実行時に自動的にダウンロードされます。