Vllm

🚀 vLLM 项目文档

vLLM 是一款开源工具，专注于高效运行和部署大型语言模型（LLMs）。它通过优化内存管理和计算资源的使用，让大规模语言模型在生产环境中的运行变得更轻松、更经济。

🚀 快速开始

访问我们的 官方文档 了解更多信息：

• 安装指南：链接
• 快速开始：链接
• 支持的模型：链接

✨ 主要特性

• 高效的内存管理：采用分页注意力机制（PagedAttention），显著降低了显存占用。
• 支持多种模型架构：包括 GPT、BLOOM、Mistral 等主流开源模型。
• 易于部署和扩展：提供简洁的接口，方便集成到各种应用程序中。

📦 安装指南

你可以通过 pip 或从源代码安装 vLLM：

pip install vllm

📚 详细文档

模型支持

vLLM 目前支持以下多种语言模型架构：

• GPT 系列：包括 gpt2、gpt2-xl 等。
• BLOOM 系列：如 bigscience/bloom 等。

🤝 项目贡献

我们欢迎任何贡献和合作。请参考 CONTRIBUTING.md 了解如何参与。

📄 引用

如果你在研究中使用了 vLLM，请引用我们的论文：

@inproceedings{kwon2023efficient,
  title={Efficient Memory Management for Large Language Model Serving with PagedAttention},
  author={Woosuk Kwon and Zhuohan Li and Siyuan Zhuang and Ying Sheng and Lianmin Zheng and Cody Hao Yu and Joseph E. Gonzalez and Hao Zhang and Ion Stoica},
  booktitle={Proceedings of the ACM SIGOPS 29th Symposium on Operating Systems Principles},
  year={2023}
}