Vllm Benchmark

🚀 MCP vLLM ベンチマークツール

このツールは、MCP を使用して vLLM をインタラクティブにベンチマークする可能性を示す概念実証です。当社はベンチマークの分野で経験があります。詳細については、当社のブログをご覧ください。

ベンチマーク vLLM

これは、MCP の可能性を探るための一例に過ぎません。

🚀 クイックスタート

使い方

1. リポジトリをクローンします。
2. それをあなたの MCP サーバーに追加します。以下の設定を行います。

{
    "mcpServers": {
        "mcp-vllm": {
            "command": "uv",
            "args": [
                "run",
                "/Path/TO/mcp-vllm-benchmarking-tool/server.py"
            ]
        }
    }
}

その後、以下のような例のようにプロンプトを与えることができます。

このエンドポイントで vllm のベンチマークを実行します：http://10.0.101.39:8888
以下のモデルをベンチマークします：deepseek-ai/DeepSeek-R1-Distill-Llama-8B
ベンチマークを 3 回実行し、各回で 32 個のプロンプトを使用してから結果を比較しますが、最初の反復は無視します。なぜなら、それはウォームアップです。

💡 今後の予定

• vllm のランダムな出力のため、無効な JSON が見つかることがあります。私はまだこの問題を十分に調査していません。