Fm MCP Comfyui Bridge

🚀 圖像生成工具

本項目是一個藉助ComfyUI和MCP框架構建的圖像生成工具。它允許用戶輸入特定提示詞來生成對應圖像，並且提供對生成圖像的分析功能，為用戶帶來便捷的圖像創作與分析體驗。

🚀 快速開始

1. 初始化項目

git clone https://github.com/username/repo.git
cd repo
pip install -r requirements.txt

2. 配置環境變量

在項目的config.py文件中添加必要的配置：

# config.py
COMFYUI_API_KEY = "your_api_key_here"
HUGGINGFACE_TOKEN = "your_huggingface_token_here"
OLLAMA_BINARY_PATH = "/path/to/ollama"

3. 啟動服務

運行主腳本啟動MCP服務器：

python main.py

✨ 主要特性

1. 圖像生成
   • 支持通過英文提示詞（特別是Danbooru標籤）生成高質量圖像。生成的圖片鏈接可以通過![URL](URL)格式直接在Markdown中顯示。
2. 圖像分析
   • 提供獲取圖像captions的功能，幫助用戶理解圖片內容。
   • 可以提取並展示圖片的14chan（WD14）標籤信息，便於分析圖片的主題和元素。
3. 自動優化提示詞
   • 系統會根據生成結果與原始提示詞的匹配程度進行多次迭代優化，最終生成最符合用戶意圖的圖像。
   • 最多可進行8次生成和優化，確保輸出質量。

📚 詳細文檔

項目結構

核心組件

• ComfyUI：一個功能強大的圖像生成界面，支持多種模型和自定義節點。
• MCP (Magic Command Parser)：用於解析和執行特定命令的框架，是這個工具的核心運行機制。

主要接口

1. 圖像生成

@mcp.tool("image://generate")
def generate_image(
    prompt: str,
    negative_prompt: Optional[str] = None,
    width: int = DEFAULT_WIDTH,
    height: int = DEFAULT_HEIGHT,
    samples: int = DEFAULT_SAMPLES,
    num_inference_steps: int = DEFAULT_STEPS,
) -> str:
    """圖像生成接口"""
    return image_url

2. 圖像分析

@mcp.tool("image://analyze")
def analyze_image(
    url: str,
) -> Tuple[str, List[str]]:
    """獲取圖片的captions和WD14標籤"""
    pass

3. 提示詞優化

@mcp.resource("optimizer://prompt")
def optimize_prompt(prompt: str) -> str:
    """根據之前的生成結果優化新的提示詞"""
    pass

示例流程

1. 用戶輸入日文或中文的提示詞。
2. 系統將其自動翻譯為英文，並附加必要的Danbooru標籤（如："masterpiece, best quality, newest,"）。
3. 調用ComfyUI生成圖像，並獲取返回的圖片鏈接。
4. 使用get_caption和get_tag工具分析圖片內容。
5. 對比原始提示詞與生成結果，若不匹配則優化提示詞並重復生成過程。

項目依賴

📄 許可證

本項目遵循MIT許可證，詳細信息請參考LICENSE文件。

👨‍💻 作者

• rerofumi：GitHub - rero2@yuumu.org

⚠️ 重要提示

WD1.4標籤解析部分使用了SmilingWolf開發的wd - tagger的源代碼和模型數據。模型數據會在第一次運行時自動下載。