Vllm

🚀 vLLM 項目文檔

vLLM 是一款開源工具，專注於高效運行和部署大型語言模型（LLMs）。它通過優化內存管理和計算資源的使用，讓大規模語言模型在生產環境中的運行變得更輕鬆、更經濟。

🚀 快速開始

訪問我們的 官方文檔 瞭解更多信息：

• 安裝指南：鏈接
• 快速開始：鏈接
• 支持的模型：鏈接

✨ 主要特性

• 高效的內存管理：採用分頁注意力機制（PagedAttention），顯著降低了顯存佔用。
• 支持多種模型架構：包括 GPT、BLOOM、Mistral 等主流開源模型。
• 易於部署和擴展：提供簡潔的接口，方便集成到各種應用程序中。

📦 安裝指南

你可以通過 pip 或從源代碼安裝 vLLM：

pip install vllm

📚 詳細文檔

模型支持

vLLM 目前支持以下多種語言模型架構：

• GPT 系列：包括 gpt2、gpt2-xl 等。
• BLOOM 系列：如 bigscience/bloom 等。

🤝 項目貢獻

我們歡迎任何貢獻和合作。請參考 CONTRIBUTING.md 瞭解如何參與。

📄 引用

如果你在研究中使用了 vLLM，請引用我們的論文：

@inproceedings{kwon2023efficient,
  title={Efficient Memory Management for Large Language Model Serving with PagedAttention},
  author={Woosuk Kwon and Zhuohan Li and Siyuan Zhuang and Ying Sheng and Lianmin Zheng and Cody Hao Yu and Joseph E. Gonzalez and Hao Zhang and Ion Stoica},
  booktitle={Proceedings of the ACM SIGOPS 29th Symposium on Operating Systems Principles},
  year={2023}
}