Vllm

🚀 vLLM プロジェクトドキュメント

vLLMは、大規模言語モデル（LLMs）を効率的に実行およびデプロイするためのオープンソースツールです。メモリ管理と計算リソースの使用を最適化することで、本番環境での大規模言語モデルの実行をより簡単かつ経済的にします。

✨ 主な機能

• 効率的なメモリ管理：ページングアテンション機構（PagedAttention）を採用し、GPUメモリの使用量を大幅に削減します。
• 複数のモデルアーキテクチャをサポート：GPT、BLOOM、Mistralなどの主流のオープンソースモデルをサポートしています。
• 簡単なデプロイと拡張性：シンプルなインターフェースを提供し、様々なアプリケーションに簡単に統合できます。

📦 インストール

vLLMは、pipまたはソースコードからインストールできます。

pip install vllm

🚀 クイックスタート

詳細情報は、公式ドキュメント を参照してください。

• インストールガイド：リンク
• クイックスタート：リンク
• サポートされるモデル：リンク

🔗 プロジェクトへの貢献

貢献や協力は大歓迎です。CONTRIBUTING.md を参照して、参加方法を確認してください。

📖 引用

研究でvLLMを使用した場合は、以下の論文を引用してください。

@inproceedings{kwon2023efficient,
  title={Efficient Memory Management for Large Language Model Serving with PagedAttention},
  author={Woosuk Kwon and Zhuohan Li and Siyuan Zhuang and Ying Sheng and Lianmin Zheng and Cody Hao Yu and Joseph E. Gonzalez and Hao Zhang and Ion Stoica},
  booktitle={Proceedings of the ACM SIGOPS 29th Symposium on Operating Systems Principles},
  year={2023}
}

📚 モデルサポート

vLLMは現在、以下の複数の言語モデルアーキテクチャをサポートしています。

• GPTシリーズ：gpt2、gpt2-xl など。
• BLOOMシリーズ：bigscience/bloom など。