Terraform Ingest

🚀 Terraform Ingest

Terraform Ingest 是一款 Terraform RAG 數據攝取引擎，它可以接收一個包含 Terraform Git 倉庫源的 YAML 文件，利用現有憑證將這些倉庫下載到本地，為你指定的分支或標籤版本創建關於其用途、輸入、輸出和提供者的 JSON 摘要，並將這些摘要嵌入到向量數據庫中，以便進行相似性搜索。它還提供了易於使用的命令行界面（CLI）、API 或 MCP 服務器。

✨ 主要特性

• 📥 多倉庫攝取：通過單個 YAML 配置文件處理多個 Terraform 倉庫。
• 🔄 自動導入：從 GitHub 組織和 GitLab 組導入倉庫（即將支持 Bitbucket）。
• 🔍 全面分析：提取變量、輸出、提供者、模塊和描述信息。
• 🏷️ 分支和標籤支持：分析你指定的分支和 Git 標籤。
• 🔌 雙接口：既可以作為命令行工具（Click）使用，也可以作為 REST API 服務（FastAPI）使用。
• 🤖 MCP 集成：提供 MCP 服務，使 AI 代理能夠通過 STDIO、SSE 或可流式傳輸的 HTTP 訪問已攝取的模塊。
• 📊 JSON 輸出：生成結構化的 JSON 摘要，可直接用於 RAG 攝取。
• 🔐 憑證支持：使用現有的 Git 憑證訪問私有倉庫。
• 🧠 向量數據庫嵌入：支持使用 ChromaDB、OpenAI、Claude 或 sentence-transformers 進行語義搜索。

更多文檔請參考 這裡。

如果你只想快速瞭解如何將其作為 MCP 服務器使用（以及一些示例），請查看 這裡。

一個包含大量自定義模塊的示例項目倉庫可以在 這裡 找到。

📦 安裝指南

本應用程序可以使用 uv 或 Docker 在本地運行。

⚠️ 重要提示

uv 是延遲加載一些大型依賴項所必需的。

使用 uv 安裝

uv tool install terraform-ingest

# 創建配置文件
uv run terraform-ingest init config.yaml

# 從 GitHub 組織導入倉庫
uv run terraform-ingest import github --org terraform-aws-modules --terraform-only

# 從 GitLab 組導入倉庫
uv run terraform-ingest import gitlab --group mygroup --recursive --terraform-only

# 更新 config.yaml 文件，包含 Terraform 模塊信息和 MCP 配置，然後進行初始攝取
uv run terraform-ingest ingest config.yaml

# 運行快速 CLI 搜索進行測試
uv run terraform-ingest search "vpc module for aws"

使用 Docker 安裝

docker pull ghcr.io/zloeber/terraform-ingest:latest

# 使用卷掛載以實現數據持久化，從本地 config.yaml 文件攝取模塊
docker run -v $(pwd)/repos:/app/repos -v $(pwd)/output:/app/output -v $(pwd)/config.yaml:/app/config.yaml ghcr.io/zloeber/terraform-ingest:latest ingest /app/config.yaml

# 作為 MCP 服務器運行
docker run -v $(pwd)/repos:/app/repos -v $(pwd)/output:/app/output -v $(pwd)/config.yaml:/app/config.yaml -p 8000:8000 ghcr.io/zloeber/terraform-ingest:latest mcp -c /app/config.yaml

# 搜索模塊並獲取第一個結果，顯示所有詳細信息
terraform-ingest search "vpc module for aws" -l 1 -j | jq -r '.results[0].id' | xargs -I {} terraform-ingest index get {}

📄 許可證

本項目採用 MIT 許可證。

🤝 貢獻

歡迎貢獻代碼！請隨時提交拉取請求。