Logstash MCP Server

🚀 Logstash MCP 服務器

這是一個用於與 Logstash 實例進行交互的模型上下文協議（MCP）服務器。該服務器提供了全面的工具，用於監控和確定 Logstash 實例的性能瓶頸。

🚀 快速開始

運行 Web UI

1. 啟動 Web 界面：

python3 web_ui.py

2. 打開瀏覽器並訪問：

http://localhost:5001

✨ 主要特性

監控工具

• 節點信息：獲取 Logstash 版本、構建信息和設置。
• 節點統計：JVM、進程和管道指標。
• 管道統計：監控單個或所有管道的性能。
• 熱點線程：通過線程分析調試性能問題。
• 健康檢查：進行全面的健康評估並提供建議。
• 連接檢查：詳細診斷與 Logstash 的連接情況。

管理工具

• 管道重新加載：重新加載特定的管道配置。
• 插件列表：查看所有已安裝的 Logstash 插件。
• JVM 統計：詳細的內存和垃圾回收指標。
• Grok 模式：列出可用於日誌解析的 Grok 模式。

📦 安裝指南

1. 安裝依賴項：

pip install -r requirements.txt

2. 設置環境變量（可選）：

export LOGSTASH_API_BASE="http://your-logstash-host:9600"

💻 使用示例

基礎用法

# MCP 服務器將自動分析：
# - JVM 內存使用情況
# - 管道性能
# - 隊列統計
# - 提供優化建議

高級用法

# 監控特定管道性能
# 獲取詳細統計信息以進行故障排除
# 跟蹤事件處理速率和錯誤

性能調試

# 使用熱點線程分析來識別瓶頸
# 監控 JVM 統計信息以查找內存問題
# 跟蹤管道路隊列使用情況

📚 詳細文檔

Web UI 功能

• 交互式儀表板：可視化界面，可訪問所有 Logstash 監控工具。
• 實時監控：檢查連接性、節點統計信息和管道性能。
• 健康分析：全面的健康檢查，提供可視化反饋。
• 管道管理：查看單個或所有管道的統計信息。
• 性能調試：熱點線程分析和 JVM 統計信息。
• 插件管理：瀏覽已安裝的 Logstash 插件。

Web UI 配置

Web UI 使用與 MCP 服務器相同的配置：

• 默認 Logstash URL：http://localhost:9600
• 可使用 LOGSTASH_API_BASE 環境變量進行覆蓋
• Web 界面運行地址：http://localhost:5001

自定義 Logstash URL 示例：

export LOGSTASH_API_BASE="http://your-logstash-host:9600"
python3 web_ui.py

可用工具（共 12 個）

logstash_check_connectivity

檢查與 Logstash 實例的連接，提供詳細的連接狀態、響應時間和錯誤處理信息。

• 返回：連接狀態、URL、版本、主機、響應時間、錯誤詳情和故障排除建議

logstash_node_info

獲取 Logstash 節點信息，包括版本、構建信息和設置。

logstash_node_stats

獲取全面的節點統計信息，包括 JVM、進程和管道指標。

• 參數：human（布爾值，默認：true）

logstash_pipelines_stats

獲取所有 Logstash 管道的統計信息。

• 參數：human（布爾值，默認：true）

logstash_pipeline_stats

獲取特定管道的統計信息。

• 參數：id（字符串，必需），human（布爾值，默認：true）

logstash_hot_threads

獲取熱點線程信息，用於調試性能問題。

• 參數：threads（整數，默認：3），human（布爾值，默認：true）

logstash_plugins

列出所有已安裝的 Logstash 插件。

check_backpressure

檢查隊積壓指標，以監控管道性能和擁塞情況。

• 參數：human（布爾值，默認：true）

logstash_health_check

進行全面的健康檢查，提供分析和建議。

logstash_jvm_stats

獲取詳細的 JVM 統計信息，用於內存分析。

• 參數：human（布爾值，默認：true）

logstash_health_report

從 Logstash 獲取詳細的健康報告。

flow_metrics

獲取詳細的流量指標，包括吞吐量、積壓和工作線程併發情況。

• 參數：human（布爾值，默認：true）

健康檢查分析

健康檢查工具會分析以下內容：

• 連接驗證：在進行其他檢查之前測試與 Logstash 的連接。
• JVM 內存使用情況：如果堆使用率超過 80% 則發出警告。
• 管道性能：檢測有過濾但無輸出事件的管道。
• 隊列使用情況：識別可能影響性能的大隊列大小。

快速啟動命令

使用 python3 logstash_mcp_server.py 啟動服務器後，可使用以下 JSON - RPC 命令：

1. 初始化（首次必需）

{"jsonrpc": "2.0", "id": 0, "method": "initialize", "params": {"protocolVersion": "2024-11-05", "capabilities": {}, "clientInfo": {"name": "test-client", "version": "1.0.0"}}}

2. 檢查連接性

{"jsonrpc": "2.0", "id": 1, "method": "tools/call", "params": {"name": "logstash_check_connectivity", "arguments": {}}}

3. 健康檢查

{"jsonrpc": "2.0", "id": 2, "method": "tools/call", "params": {"name": "logstash_health_check", "arguments": {}}}

4. 列出所有工具

{"jsonrpc": "2.0", "id": 3, "method": "tools/list"}

5. 獲取節點信息

{"jsonrpc": "2.0", "id": 4, "method": "tools/call", "params": {"name": "logstash_node_info", "arguments": {}}}

與 ELK 棧集成

此 MCP 服務器設計為與 Elasticsearch 診斷工具配合使用，可幫助：

• 監控向 Elasticsearch 集群提供數據的 Logstash 性能。
• 識別可能導致索引延遲的管道瓶頸。
• 優化 Logstash 配置，以提高集群性能。

根據 Elasticsearch 集群分析顯示的高分片計數，確保 Logstash 管道針對高效索引模式進行了優化。

錯誤處理

服務器包括全面的錯誤處理功能，用於處理以下情況：

• 與 Logstash API 的連接失敗。
• 無效的管道 ID。
• API 響應錯誤。
• 網絡超時。
• 提供詳細的錯誤消息和故障排除建議。

測試

運行測試套件以驗證一切正常：

python3 test_mcp_server.py

測試套件包括：

• 服務器初始化測試。
• 工具列表驗證。
• 模擬健康檢查測試。
• 錯誤處理驗證。

安全考慮

• 服務器會連接到 Logstash API 端點。
• 確保 MCP 服務器和 Logstash 之間有適當的網絡安全措施。
• 如果 Logstash 實例需要認證，請考慮進行認證。
• 監控 API 訪問日誌以進行安全審計。

⚠️ 重要提示

此倉庫是通過 AI 生成的代碼，未經過充分測試。使用時請自行承擔風險。