Vllm Benchmark

🚀 MCP vLLM 基準測試工具

本工具是一個概念驗證，旨在展示利用 MCP 對 vLLM 進行交互式基準測試的可能性。它為 vLLM 的性能評估提供了一種新的途徑，幫助用戶更好地瞭解 vLLM 在不同場景下的表現。

我們在基準測試領域經驗豐富，您可閱讀我們的博客瞭解更多： 基準測試 vLLM

這僅僅是對 MCP 可能性探索的一個示例，未來還有更多潛力待挖掘。

🚀 快速開始

📦 安裝指南

1. 克隆倉庫。
2. 將其添加到您的 MCP 服務器中，配置如下：

{
    "mcpServers": {
        "mcp-vllm": {
            "command": "uv",
            "args": [
                "run",
                "/Path/TO/mcp-vllm-benchmarking-tool/server.py"
            ]
        }
    }
}

💻 使用示例

基礎用法

配置完成後，您可以按照以下示例進行提示：

為這個端點進行 vllm 基準測試：http://10.0.101.39:8888
基準測試以下模型：deepseek-ai/DeepSeek-R1-Distill-Llama-8B
運行 3 次基準測試，每次使用 32 個提示，然後比較結果，但忽略第一次迭代，因為那是預熱。

📋 待辦事項

由於 vllm 存在一些隨機輸出，可能會顯示找到某些無效的 JSON，目前我尚未深入研究該問題。