Comfyui Storydiffusion

🚀 画像生成関連ツールの概要

このドキュメントでは、画像やビデオ生成に関するいくつかのツールとその関連文献について紹介します。各ツールは、それぞれ独自の特徴を持ち、画像生成の質や多様性を向上させるために開発されています。

✨ 主な機能

StoryDiffusion

StoryDiffusion は、長距離の画像およびビデオ生成に使用される自己回帰モデルです。一貫した自己注意機構により、高品質な出力を実現しています。

IP-Adapter

IP-Adapter は、テキスト互換の画像プロンプトアダプタです。テキストから画像への拡散モデルの生成結果を向上させることができます。

MS-Diffusion

MS-Diffusion は、多主体のゼロショット画像パーソナライズ方法です。レイアウトガイダンスを組み合わせることで、多主体の画像生成を実現します。

PhotoMaker

PhotoMaker は、スタック ID 埋め込み技術を用いて、高度にパーソナライズされたリアルな人物写真を生成します。

Kolors

Kolors は、拡散モデルの効果的な訓練方法です。フォトリアリスティックなテキストから画像への合成結果を向上させることに焦点を当てています。

📚 ドキュメント

引用文献

@article{zhou2024storydiffusion,
  title={StoryDiffusion: Consistent Self-Attention for Long-Range Image and Video Generation},
  author={Zhou, Yupeng and Zhou, Daquan and Cheng, Ming-Ming and Feng, Jiashi and Hou, Qibin},
  journal={arXiv preprint arXiv:2405.01434},
  year={2024}
}

@article{ye2023ip-adapter,
  title={IP-Adapter: Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models},
  author={Ye, Hu and Zhang, Jun and Liu, Sibo and Han, Xiao and Yang, Wei},
  booktitle={arXiv preprint arxiv:2308.06721},
  year={2023}
}

@misc{wang2024msdiffusion,
  title={MS-Diffusion: Multi-subject Zero-shot Image Personalization with Layout Guidance}, 
  author={X. Wang and Siming Fu and Qihan Huang and Wanggui He and Hao Jiang},
  year={2024},
  eprint={2406.07209},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}

@inproceedings{li2023photomaker,
  title={PhotoMaker: Customizing Realistic Human Photos via Stacked ID Embedding},
  author={Li, Zhen and Cao, Mingdeng and Wang, Xintao and Qi, Zhongang and Cheng, Ming-Ming and Shan, Ying},
  booktitle={IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
  year={2024}
}

@article{kolors,
  title={Kolors: Effective Training of Diffusion Model for Photorealistic Text-to-Image Synthesis},
  author={Kolors Team},
  journal={arXiv preprint},
  year={2024}
}

ツールリスト

文献詳細