Logstash MCP Server

🚀 Logstash MCP サーバー

このサーバーは、Logstashインスタンスとの相互作用を可能にするモデルコンテキストプロトコル（MCP）サーバーです。Logstashインスタンスのパフォーマンスのボトルネックを監視および定義するための包括的なツールを提供します。

🚀 クイックスタート

重要な注意事項

このリポジトリはAIによって生成され、適切なテストが行われていません。自己責任で使用してください。

✨ 主な機能

監視ツール

• ノード情報：Logstashのバージョン、ビルド情報、設定を取得します。
• ノード統計：JVM、プロセス、パイプラインのメトリクスを取得します。
• パイプライン統計：個々またはすべてのパイプラインのパフォーマンスを監視します。
• ホットスレッド：スレッド分析を使用してパフォーマンスの問題をデバッグします。
• ヘルスチェック：包括的なヘルス評価と推奨事項を提供します。
• 接続性チェック：詳細な診断情報を提供して、Logstashへの接続を検証します。

管理ツール

• パイプライン再読み込み：特定のパイプライン構成を再読み込みします。
• プラグイン一覧：すべてのインストール済みLogstashプラグインを表示します。
• JVM統計：詳細なメモリとガベージコレクションのメトリクスを取得します。
• Grokパターン：ログ解析に使用できる利用可能なGrokパターンを一覧表示します。

📦 インストール

1. 依存関係をインストールします。

pip install -r requirements.txt

2. 環境変数を設定します（オプション）。

export LOGSTASH_API_BASE="http://your-logstash-host:9600"

💻 使用例

基本的な使用法

基本的なヘルスチェック

# The MCP server will automatically analyze:
# - JVM memory usage
# - Pipeline performance
# - Queue statistics
# - Provide recommendations for optimization

パイプライン監視

# Monitor specific pipeline performance
# Get detailed statistics for troubleshooting
# Track event processing rates and errors

パフォーマンスデバッグ

# Use hot threads analysis to identify bottlenecks
# Monitor JVM statistics for memory issues
# Track pipeline queue usage

📚 ドキュメント

Web UI

このプロジェクトには、Logstashインスタンスと簡単にやり取りできるWebベースのユーザーインターフェイスが含まれています。

Web UIの実行

1. Webインターフェイスを起動します。

python3 web_ui.py

2. ブラウザを開き、次のURLにアクセスします。

http://localhost:5001

Web UIの機能

Webインターフェイスは以下を提供します。

• インタラクティブダッシュボード：すべてのLogstash監視ツールにアクセスするための視覚的なインターフェイス。
• リアルタイム監視：接続状態、ノード統計、パイプラインパフォーマンスを確認します。
• ヘルス分析：視覚的なフィードバックを伴う包括的なヘルスチェック。
• パイプライン管理：個々またはすべてのパイプラインの統計を表示します。
• パフォーマンスデバッグ：ホットスレッド分析とJVM統計。
• プラグイン管理：インストールされたLogstashプラグインを閲覧します。

Web UIの設定

Web UIはMCPサーバーと同じ設定を使用します。

• デフォルトのLogstash URL：http://localhost:9600
• LOGSTASH_API_BASE環境変数で上書きできます。
• Webインターフェイスはhttp://localhost:5001で実行されます。

カスタムLogstash URLの例：

export LOGSTASH_API_BASE="http://your-logstash-host:9600"
python3 web_ui.py

利用可能なツール（合計12個）

logstash_check_connectivity

Logstashインスタンスへの接続を詳細な接続状態、応答時間、エラーハンドリングでチェックします。

• 戻り値：接続状態、URL、バージョン、ホスト、応答時間、エラー詳細、トラブルシューティングの提案

logstash_node_info

Logstashノードの情報（バージョン、ビルド情報、設定を含む）を取得します。

logstash_node_stats

包括的なノード統計（JVM、プロセス、パイプラインのメトリクスを含む）を取得します。

• パラメータ：human（ブール値、デフォルト: true）

logstash_pipelines_stats

すべてのLogstashパイプラインの統計を取得します。

• パラメータ：human（ブール値、デフォルト: true）

logstash_pipeline_stats

特定のパイプラインの統計を取得します。

• パラメータ：id（文字列、必須）、human（ブール値、デフォルト: true）

logstash_hot_threads

パフォーマンスの問題をデバッグするためのホットスレッド情報を取得します。

• パラメータ：threads（整数、デフォルト: 3）、human（ブール値、デフォルト: true）

logstash_plugins

すべてのインストール済みLogstashプラグインを一覧表示します。

check_backpressure

パイプラインのパフォーマンスと輻輳を監視するためのキューのバックプレッシャーメトリクスをチェックします。

• パラメータ：human（ブール値、デフォルト: true）

logstash_health_check

包括的なヘルスチェックを実行し、分析と推奨事項を提供します。

logstash_jvm_stats

メモリ分析のための詳細なJVM統計を取得します。

• パラメータ：human（ブール値、デフォルト: true）

logstash_health_report

Logstashからの詳細なヘルスレポートを取得します。

flow_metrics

スループット、バックプレッシャー、ワーカーの同時実行数を含む詳細なフローメトリクスを取得します。

• パラメータ：human（ブール値、デフォルト: true）

ヘルスチェック分析

ヘルスチェックツールは以下を分析します。

• 接続性検証：他のチェックの前にLogstashへの接続をテストします。
• JVMメモリ使用量：ヒープ使用率が80％を超えると警告します。
• パイプラインパフォーマンス：フィルタリングされたが出力イベントがないパイプラインを検出します。
• キュー使用量：パフォーマンスに影響を与える可能性のある大きなキューサイズを識別します。

クイックスタートコマンド

python3 logstash_mcp_server.pyでサーバーを起動した後、以下のJSON-RPCコマンドを使用します。

1. 初期化（最初に必要）

{"jsonrpc": "2.0", "id": 0, "method": "initialize", "params": {"protocolVersion": "2024-11-05", "capabilities": {}, "clientInfo": {"name": "test-client", "version": "1.0.0"}}}

2. 接続確認

{"jsonrpc": "2.0", "id": 1, "method": "tools/call", "params": {"name": "logstash_check_connectivity", "arguments": {}}}

3. ヘルスチェック

{"jsonrpc": "2.0", "id": 2, "method": "tools/call", "params": {"name": "logstash_health_check", "arguments": {}}}

4. すべてのツールを一覧表示

{"jsonrpc": "2.0", "id": 3, "method": "tools/list"}

5. ノード情報を取得

{"jsonrpc": "2.0", "id": 4, "method": "tools/call", "params": {"name": "logstash_node_info", "arguments": {}}}

ELKスタックとの統合

このMCPサーバーは、Elasticsearchの診断機能と連携するように設計されており、以下のことができます。

• Elasticsearchクラスタにデータを供給するLogstashのパフォーマンスを監視します。
• インデックス作成の遅延の原因となるパイプラインのボトルネックを特定します。
• クラスタのパフォーマンスを向上させるためにLogstashの設定を最適化します。

Elasticsearchクラスタの分析によりシャード数が多いことがわかった場合、Logstashパイプラインが効率的なインデックス作成パターンに最適化されていることを確認してください。

エラーハンドリング

サーバーには以下の包括的なエラーハンドリングが含まれています。

• Logstash APIへの接続失敗
• 無効なパイプラインID
• API応答エラー
• ネットワークタイムアウト
• トラブルシューティングの提案を含む詳細なエラーメッセージ

テスト

すべてが正常に動作することを確認するためにテストスイートを実行します。

python3 test_mcp_server.py

テストスイートには以下が含まれています。

• サーバー初期化テスト
• ツール一覧の検証
• モックヘルスチェックテスト
• エラーハンドリングの検証

セキュリティに関する考慮事項

• サーバーはLogstash APIエンドポイントに接続します。
• MCPサーバーとLogstashの間の適切なネットワークセキュリティを確保してください。
• Logstashインスタンスが認証を必要とする場合は、認証を検討してください。
• セキュリティ監査のためにAPIアクセスログを監視してください。