Comfyui Storydiffusion

🚀 圖像與視頻生成工具集

本項目涵蓋了一系列用於圖像和視頻生成的先進工具，這些工具在不同的應用場景中展現出了卓越的性能，為圖像和視頻生成領域帶來了新的突破。

🚀 快速開始

本部分介紹了項目中涉及的各類工具，涵蓋圖像與視頻生成、圖像個性化、照片定製以及擴散模型訓練等多個領域。

✨ 主要特性

StoryDiffusion

StoryDiffusion 是一種用於長程圖像和視頻生成的自迴歸模型，通過一致的自我關注機制實現了高質量的輸出。

IP-Adapter

IP-Adapter 是一個文本兼容的圖像提示適配器，能夠提升文本到圖像擴散模型的生成效果。

MS-Diffusion

MS-Diffusion 是一個多主體零樣本圖像個性化方法，結合佈局指導實現多主體圖像生成。

PhotoMaker

PhotoMaker 通過堆疊 ID 嵌入技術，生成高度個性化的真實人類照片。

Kolors

Kolors 是一種有效的擴散模型訓練方法，專注於提升逼真的文本到圖像的合成效果。

📚 詳細文檔

工具列表

引用文獻

StoryDiffusion

• 作者：Zhou Yupeng, Zhou Daquan, Cheng Ming-Ming, Feng Jiashi, Hou Qibin
• 出版物：arXiv preprint arXiv:2405.01434
• 年份：2024

@article{zhou2024storydiffusion,
  title={StoryDiffusion: Consistent Self-Attention for Long-Range Image and Video Generation},
  author={Zhou, Yupeng and Zhou, Daquan and Cheng, Ming-Ming and Feng, Jiashi and Hou, Qibin},
  journal={arXiv preprint arXiv:2405.01434},
  year={2024}
}

IP-Adapter

• 作者：Ye Hu, Zhang Jun, Liu Sibo, Han Xiao, Yang Wei
• 出版物：arXiv preprint arxiv:2308.06721
• 年份：2023

@article{ye2023ip-adapter,
  title={IP-Adapter: Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models},
  author={Ye, Hu and Zhang, Jun and Liu, Sibo and Han, Xiao and Yang, Wei},
  booktitle={arXiv preprint arxiv:2308.06721},
  year={2023}
}

MS-Diffusion

• 作者：Wang X., Fu Siming, Huang Qihan, He Wanggui, Jiang Hao
• 出版物：arXiv eprint 2406.07209
• 年份：2024

@misc{wang2024msdiffusion,
  title={MS-Diffusion: Multi-subject Zero-shot Image Personalization with Layout Guidance}, 
  author={X. Wang and Siming Fu and Qihan Huang and Wanggui He and Hao Jiang},
  year={2024},
  eprint={2406.07209},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}

PhotoMaker

• 作者：Li Zhen, Cao Mingdeng, Wang Xintao, Qi Zhongang, Cheng Ming-Ming, Shan Ying
• 出版物：IEEE Conference on Computer Vision and Pattern Recognition (CVPR)
• 年份：2024

@inproceedings{li2023photomaker,
  title={PhotoMaker: Customizing Realistic Human Photos via Stacked ID Embedding},
  author={Li, Zhen and Cao, Mingdeng and Wang, Xintao and Qi, Zhongang and Cheng, Ming-Ming and Shan, Ying},
  booktitle={IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
  year={2024}
}

Kolors

• 作者：Kolors Team
• 出版物：arXiv preprint
• 年份：2024

@article{kolors,
  title={Kolors: Effective Training of Diffusion Model for Photorealistic Text-to-Image Synthesis},
  author={Kolors Team},
  journal={arXiv preprint},
  year={2024}
}