Kafka MCP Server

🚀 Kafka 分佈式計算平臺 (MCP) 用戶指南

Kafka 分佈式計算平臺（簡稱 Kafka MCP）是一套強大的工具集，能簡化與 Apache Kafka 集群的交互。它提供了多種命令行工具和 REST API，可用於消費組描述、主題偏移量管理以及生產者/消費者日誌記錄等操作。

🚀 快速開始

Kafka 分佈式計算平臺（Kafka MCP）是一個強大的工具集，可幫助用戶輕鬆與 Apache Kafka 集群進行交互。下面為你介紹如何快速開啟使用之旅。

環境要求

• Java 8 或更高版本
• Kafka 版本 2.13+

安裝步驟

1. 下載並解壓 Kafka MCP 發行包：

wget https://example.com/kafka-mcp.tar.gz
tar -xzvf kafka-mcp.tar.gz
cd kafka-mcp

2. 配置環境變量（可選）：

export PATH=$PATH:/path/to/kafka-mcp/bin

3. 啟動 MCP 服務（如果使用 REST API 版本）：

./start_mcp_server.sh

✨ 主要特性

消費組管理

• 消費組描述：可獲取指定消費組的消費者 ID 及其所屬客戶端 ID。
• 偏移量查詢：能查看特定主題和分區在消費組中的當前消費位置。
• 重置偏移量：支持手動調整消費組的偏移量，實現精確消費控制。

主題管理

• 主題創建：可通過定義分區數、複製因子等參數快速創建新主題。
• 主題刪除：能安全刪除不再需要的主題，釋放集群資源。
• ISR 監控：可即時查看主題分區的 _isr（In-Sync Replicas）狀態，確保數據一致性。

消息跟蹤

• 消息消費：可即時消費指定主題的消息，並支持按時間範圍、批次大小等方式靈活獲取。
• 生產日誌生成：能方便地向指定主題發送測試或調試用的消息。
• 偏移量調整：必要時可手動調整消費者偏移量，實現精準的流處理。

📦 安裝指南

環境要求

安裝步驟

1. 下載並解壓 Kafka MCP 發行包：

wget https://example.com/kafka-mcp.tar.gz
tar -xzvf kafka-mcp.tar.gz
cd kafka-mcp

2. 配置環境變量（可選）：

export PATH=$PATH:/path/to/kafka-mcp/bin

3. 啟動 MCP 服務（如果使用 REST API 版本）：

./start_mcp_server.sh

💻 使用示例

基礎用法

Kafka MCP 提供了多種命令行工具，以下是一些基礎用法示例：

# 獲取所有Kafka消費組列表
list_consumer_groups --bootstrap-server <broker_address>

# 列出Kafka集群中的所有主題
list_topics --bootstrap-server <broker_address>

高級用法

消費組與主題詳細信息查看

# 查看指定消費組的詳細信息，包括消費者ID和偏移量
describe_consumer_group --group-id <consumer_group_id> \
                       --bootstrap-server <broker_address> \
                       --include-protocol-info \
                       --include-consumer-info \
                       --include-offsets

# 查看指定主題的分區分配、副本和ISR狀態
describe_topic --topic-name <topic_name> \
               --bootstrap-server <broker_address>

主題偏移量管理

# 消費特定主題的所有分區的偏移量
consume_offsets --group-id <consumer_group_id> \
               --topic-name <topic_name> \
               --bootstrap-server <broker_address>

# 提供指定分區的當前偏移量
seek_consumer_partition --group-id <consumer_group_id> \
                       --topic-name <topic_name> \
                       --partition <partition_number> \
                       --offset <target_offset> \
                       --bootstrap-server <broker_address>

生產者和消費者日誌監控

# 消費指定主題的最新消息
consume_logs --topic-name <topic_name> \
             --bootstrap-server <broker_address>

# 生成模擬生產者日誌
produce_logs --topic-name <topic_name> \
             --message "your_message_here" \
             --bootstrap-server <broker_address>

📚 詳細文檔

配置參考

系統配置

• Kafka 代理地址（--bootstrap-server）：指定 Kafka 服務的 IP 和端口，格式為 host:port。
• 消費者組 ID（--group-id）：用於標識一組消費者實例。
• 主題名稱（--topic-name）：操作的具體主題。

環境變量

# 設置默認代理地址
export KAFKA_BOOTSTRAP_SERVER=localhost:9092

使用案例

案例一：消費組偏移量查詢

# 查看指定消費組的偏移量
consume_offsets --group-id my_consumer_group \
               --bootstrap-server localhost:9092

案例二：主題描述

# 獲取特定主題的詳細信息
describe_topic --topic-name user_activity \
               --bootstrap-server localhost:9092

🔧 技術細節

安全注意事項

• 認證授權：在生產環境中，建議啟用 SASL/PLAINTEXT 或 TLS 加密通信，確保 API 調用的安全性。
• 訪問控制：通過 Kafka 的 ACL（Access Control List）機制限制不同用戶或應用的權限範圍。
• 日誌監控：定期審查操作日誌，識別異常行為並及時響應。

📄 許可證

文檔中未提及相關許可證信息。

🆘 幫助與支持

如需更多信息，請參考 Kafka 官方文檔 或聯繫技術支持團隊。