Comfyui Storydiffusion

🚀 图像与视频生成工具集

本项目集合了多种先进的图像和视频生成工具，涵盖自回归模型、图像提示适配器、多主体图像个性化方法等，为长程图像和视频生成、文本到图像合成等领域提供了丰富的解决方案。

✨ 主要特性

StoryDiffusion

StoryDiffusion 是一种用于长程图像和视频生成的自回归模型，通过一致的自我关注机制实现了高质量的输出。

IP-Adapter

IP-Adapter 是一个文本兼容的图像提示适配器，能够提升文本到图像扩散模型的生成效果。

MS-Diffusion

MS-Diffusion 是一个多主体零样本图像个性化方法，结合布局指导实现多主体图像生成。

PhotoMaker

PhotoMaker 通过堆叠 ID 嵌入技术，生成高度个性化的 realistic 人类照片。

Kolors

Kolors 是一种有效的扩散模型训练方法，专注于提升 photorealistic 文本到图像的合成效果。

📚 详细文档

工具列表

引用文献

StoryDiffusion

• 作者: Zhou Yupeng, Zhou Daquan, Cheng Ming-Ming, Feng Jiashi, Hou Qibin
• 出版物: arXiv preprint arXiv:2405.01434
• 年份: 2024

@article{zhou2024storydiffusion,
  title={StoryDiffusion: Consistent Self-Attention for Long-Range Image and Video Generation},
  author={Zhou, Yupeng and Zhou, Daquan and Cheng, Ming-Ming and Feng, Jiashi and Hou, Qibin},
  journal={arXiv preprint arXiv:2405.01434},
  year={2024}
}

IP-Adapter

• 作者: Ye Hu, Zhang Jun, Liu Sibo, Han Xiao, Yang Wei
• 出版物: arXiv preprint arxiv:2308.06721
• 年份: 2023

@article{ye2023ip-adapter,
  title={IP-Adapter: Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models},
  author={Ye, Hu and Zhang, Jun and Liu, Sibo and Han, Xiao and Yang, Wei},
  booktitle={arXiv preprint arxiv:2308.06721},
  year={2023}
}

MS-Diffusion

• 作者: Wang X., Fu Siming, Huang Qihan, He Wanggui, Jiang Hao
• 出版物: arXiv eprint 2406.07209
• 年份: 2024

@misc{wang2024msdiffusion,
  title={MS-Diffusion: Multi-subject Zero-shot Image Personalization with Layout Guidance}, 
  author={X. Wang and Siming Fu and Qihan Huang and Wanggui He and Hao Jiang},
  year={2024},
  eprint={2406.07209},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}

PhotoMaker

• 作者: Li Zhen, Cao Mingdeng, Wang Xintao, Qi Zhongang, Cheng Ming-Ming, Shan Ying
• 出版物: IEEE Conference on Computer Vision and Pattern Recognition (CVPR)
• 年份: 2024

@inproceedings{li2023photomaker,
  title={PhotoMaker: Customizing Realistic Human Photos via Stacked ID Embedding},
  author={Li, Zhen and Cao, Mingdeng and Wang, Xintao and Qi, Zhongang and Cheng, Ming-Ming and Shan, Ying},
  booktitle={IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
  year={2024}
}

Kolors

• 作者: Kolors Team
• 出版物: arXiv preprint
• 年份: 2024

@article{kolors,
  title={Kolors: Effective Training of Diffusion Model for Photorealistic Text-to-Image Synthesis},
  author={Kolors Team},
  journal={arXiv preprint},
  year={2024}
}