MCP Iceberg Service

🚀 MCP 冰山目錄

一個用於與 Apache Iceberg 交互的 MCP（模型上下文協議）服務器實現。此服務器藉助 Claude 桌面提供 SQL 接口，可對 Iceberg 表進行查詢和管理。

🚀 快速開始

在 Claude 桌面上作為 Iceberg 數據湖目錄的 MySQL

📦 安裝指南

通過 Smithery 安裝

要通過 Smithery 為 Claude 桌面自動安裝 MCP Iceberg Catalog，可執行以下命令：

npx -y @smithery/cli install @ahodroj/mcp-iceberg-service --client claude

先決條件

• Python 3.10 或更高版本
• UV 包安裝程序（推薦）或 pip
• 能夠訪問 Iceberg REST 目錄和 S3 兼容存儲

如何在 Claude 桌面上安裝

將以下配置添加到 claude_desktop_config.json：

{
  "mcpServers": {
    "iceberg": {
      "command": "uv",
      "args": [
        "--directory",
        "PATH_TO_/mcp-iceberg-service",
        "run",
        "mcp-server-iceberg"
      ],
      "env": {
        "ICEBERG_CATALOG_URI" : "http://localhost:8181",
        "ICEBERG_WAREHOUSE" : "YOUR ICEBERG WAREHOUSE NAME",
        "S3_ENDPOINT" : "OPTIONAL IF USING S3",
        "AWS_ACCESS_KEY_ID" : "YOUR S3 ACCESS KEY",
        "AWS_SECRET_ACCESS_KEY" : "YOUR S3 SECRET KEY"
      }
    }
  }
}

🔧 技術細節

架構

該 MCP 服務器基於三個主要組件構建：

1. MCP 協議處理程序
   • 實現模型上下文協議與 Claude 的通信
   • 處理標準輸入輸出中的請求/響應週期
   • 管理服務器生命週期和初始化
2. 查詢處理器
   • 使用 sqlparse 解析 SQL 查詢
   • 支持的操作：
     • 列出表格
     • 描述表格
     • 選擇
     • 插入
3. Iceberg 集成
   • 使用 pyiceberg 進行表操作
   • 集成 PyArrow 實現高效數據處理
   • 管理目錄連接和表操作

PyIceberg 集成

服務器在以下幾個方面利用了 PyIceberg：

1. 目錄管理
   • 連接到 REST 目錄
   • 管理元數據表
   • 處理命名空間操作
2. 數據操作
   • 轉換為 PyIceberg 和 PyArrow 類型之間的數據
   • 處理通過 PyArrow 表進行的數據插入
   • 管理表架構和字段類型
3. 查詢執行
   • 將 SQL 轉換為 PyIceberg 操作
   • 處理數據掃描和過濾
   • 管理結果集轉換

📚 詳細文檔

進一步需要實施的內容

1. 查詢操作
   • [ ] 實現 UPDATE 操作
   • [ ] 添加 DELETE 支持
   • [ ] 支持使用架構定義創建表格
   • [ ] 添加 ALTER TABLE 操作
   • [ ] 實現分區表支持
2. 數據類型
   • [ ] 支持複雜類型（數組、映射、結構）
   • [ ] 添加帶時區的時間戳處理
   • [ ] 支持小數類型
   • [ ] 添加嵌套字段支持
3. 性能改進
   • [ ] 實現批處理插入
   • [ ] 添加查詢優化
   • [ ] 支持並行掃描
   • [ ] 添加 frequently accessed data 的緩存層
4. 安全功能
   • [ ] 添加身份驗證機制
   • [ ] 實現基於角色的訪問控制
   • [ ] 添加行級安全性
   • [ ] 支持加密連接
5. 監控和管理
   • [ ] 添加指標收集
   • [ ] 實施查詢記錄
   • [ ] 添加性能監控
   • [ ] 支持表維護操作
6. 錯誤處理
   • [ ] 改進錯誤消息
   • [ ] 添加重試機制以處理瞬時故障
   • [ ] 實現事務支持
   • [ ] 添加數據驗證