Vllm Benchmark

🚀 MCP vLLM 基准测试工具

本工具是一个概念验证，旨在展示利用 MCP 对 vLLM 进行交互式基准测试的可能性。它为 vLLM 的性能评估提供了一种新的途径，帮助用户更好地了解 vLLM 在不同场景下的表现。

我们在基准测试领域经验丰富，您可阅读我们的博客了解更多： 基准测试 vLLM

这仅仅是对 MCP 可能性探索的一个示例，未来还有更多潜力待挖掘。

🚀 快速开始

📦 安装指南

1. 克隆仓库。
2. 将其添加到您的 MCP 服务器中，配置如下：

{
    "mcpServers": {
        "mcp-vllm": {
            "command": "uv",
            "args": [
                "run",
                "/Path/TO/mcp-vllm-benchmarking-tool/server.py"
            ]
        }
    }
}

💻 使用示例

基础用法

配置完成后，您可以按照以下示例进行提示：

为这个端点进行 vllm 基准测试：http://10.0.101.39:8888
基准测试以下模型：deepseek-ai/DeepSeek-R1-Distill-Llama-8B
运行 3 次基准测试，每次使用 32 个提示，然后比较结果，但忽略第一次迭代，因为那是预热。

📋 待办事项

由于 vllm 存在一些随机输出，可能会显示找到某些无效的 JSON，目前我尚未深入研究该问题。