Ragstack Lambda

🚀 無服務器文檔與媒體處理，支持AI聊天

本項目提供了一種無服務器的文檔和媒體處理方案，結合AI聊天功能。採用零擴展架構，無需支付向量數據庫費用，也沒有閒置成本。用戶可以上傳文檔、圖像、視頻和音頻，通過OCR或轉錄提取文本，並使用Amazon Bedrock或通過MCP使用自己的AI助手進行查詢。

✨ 主要特性

• ☁️ 全無服務器架構（Lambda、Step Functions、S3、DynamoDB）
• 🧠 新增：用於文本和圖像向量化的Amazon Nova多模態嵌入
• 📄 文檔處理與向量化（PDF、圖像、辦公文檔、HTML、CSV、JSON、XML、EML、EPUB）→ 存儲在託管知識庫中
• 🎬 新增：視頻/音頻處理 - 使用AWS Transcribe轉錄語音，可按時間戳搜索
• 💬 具有檢索增強上下文和來源歸因的AI聊天
• 📎 可摺疊的來源引用，支持可選的文檔下載
• ⏱️ 新增：帶有時間戳鏈接的媒體源 - 點擊可在精確位置播放
• 🔍 元數據過濾 - 自動發現文檔元數據並過濾搜索結果
• 🎯 過濾結果的相關性提升 - 優先匹配元數據過濾器中的內容
• 🔄 知識庫重新索引 - 使用更新的設置為現有文檔重新生成元數據
• 🗑️ 文檔管理 - 從儀表板重新處理、重新索引或刪除文檔
• 🌐 適用於任何框架的Web組件（React、Vue、Angular、Svelte）
• 🚀 一鍵部署
• 💰 每月7 - 10美元（1000份文檔，Textract + Haiku）

📦 安裝指南

選項1：一鍵部署（AWS Marketplace）

注意：倉庫正在積極開發中，內容可能經常變動

可直接從AWS控制檯進行部署，無需本地設置：

1. 在AWS Marketplace訂閱RAGStack（免費，非必需 - 如果訂閱，Lambda角色會在首次調用時自動接受Bedrock模型協議）
2. 點擊此處進行部署
3. 輸入堆棧名稱（僅支持小寫，例如 "my-docs"）和管理員電子郵件
4. 點擊 創建堆棧（部署大約需要10分鐘）

部署完成後：

• 查看電子郵件獲取臨時密碼（來自Cognito）
• 轉到CloudFormation → 您的堆棧 → 輸出 選項卡，找到儀表板URL (UIUrl)

選項2：從源代碼部署

適用於定製或開發：

前提條件：

• 具有管理員訪問權限的AWS賬戶
• Python 3.13+、Node.js 24+
• 已配置的AWS CLI、SAM CLI
• Docker（用於Lambda層構建）

git clone https://github.com/HatmanStack/RAGStack-Lambda.git
cd RAGStack-Lambda

# 創建虛擬環境並安裝依賴
python -m venv venv
source venv/bin/activate  # 在Windows上：venv\Scripts\activate
pip install -r requirements.txt

# 部署（默認使用us-east-1進行Nova多模態嵌入）
python publish.py \
  --project-name my-docs \
  --admin-email admin@example.com

選項3：嵌套堆棧部署

將RAGStack作為更大的CloudFormation堆棧的一部分進行部署。詳細信息請參閱 嵌套堆棧部署指南。

快速示例：

Resources:
  RAGStack:
    Type: AWS::CloudFormation::Stack
    Properties:
      TemplateURL: https://ragstack-quicklaunch-public.s3.us-east-1.amazonaws.com/ragstack-template.yaml
      Parameters:
        StackPrefix: 'my-app-ragstack'  # 必需：小寫前綴
        AdminEmail: admin@example.com

💻 使用示例

服務器端集成

服務器端集成使用API密鑰進行身份驗證。從儀表板 → 設置中獲取您的密鑰。

curl -X POST 'YOUR_GRAPHQL_ENDPOINT' \
  -H 'x-api-key: YOUR_API_KEY' \
  -H 'Content-Type: application/json' \
  -d '{"query": "query { searchKnowledgeBase(query: \"...\") { results { content } } }"}'

Web組件

Web組件使用IAM身份驗證（無需API密鑰 - 自動處理）。每個UI選項卡都會在可展開部分顯示服務器端API示例。

MCP服務器（AI助手集成）

可在Claude Desktop、Cursor、VS Code、Amazon Q CLI和其他MCP兼容工具中直接使用您的知識庫。

# 安裝（或使用uvx實現零安裝）
pip install ragstack-mcp

將以下內容添加到您的AI助手的MCP配置中：

{
  "ragstack-kb": {
    "command": "uvx",
    "args": ["ragstack-mcp"],
    "env": {
      "RAGSTACK_GRAPHQL_ENDPOINT": "YOUR_ENDPOINT",
      "RAGSTACK_API_KEY": "YOUR_API_KEY"
    }
  }
}

然後自然地提問："在我的知識庫中搜索身份驗證文檔"

詳細的設置說明請參閱 MCP服務器文檔。

📚 詳細文檔

• 配置 - 設置、配額、API密鑰和文檔管理
• 嵌套堆棧部署 - 作為更大的CloudFormation堆棧的一部分進行部署
• 網頁抓取 - 抓取網站內容
• 元數據過濾 - 自動發現元數據並過濾結果
• 聊天組件 - 在任何地方嵌入聊天功能
• 架構 - 系統設計和API參考
• 開發 - 本地開發
• 故障排除 - 常見問題
• 庫參考 - lib/ragstack_common的公共API

🔧 技術細節

架構

上傳 → OCR → 嵌入 → Bedrock知識庫
                          ↓
 Web UI（儀表板 + 聊天） ←→ GraphQL API
                          ↓
 Web組件 ←→ 帶有來源的AI聊天

使用說明

文檔

可上傳各種格式的文檔。系統會自動檢測並路由到最佳處理器：

處理時間：上傳 → 處理中 → 已索引（文本通常需要1 - 5分鐘，OCR需要2 - 15分鐘，媒體需要5 - 20分鐘）

圖像

可上傳帶有標題的JPG、PNG、GIF、WebP圖像。視覺內容和標題文本均可搜索。

網頁抓取

可將網站內容抓取到知識庫中。詳細信息請參閱 網頁抓取。

視頻和音頻

可上傳MP4、WebM、MP3、WAV、M4A、OGG或FLAC文件。使用AWS Transcribe轉錄語音，並分割成30秒的片段進行搜索。來源包含時間戳（例如 "1:30 - 2:00"），點擊鏈接可在精確位置播放。

特性：

• 說話人分離（識別誰說了什麼）
• 可配置語言（支持30多種語言）
• 聊天響應中帶有時間戳鏈接的來源

語言和說話人設置請參閱 配置。

聊天

可對您的內容提問，來源會顯示答案的出處。

📄 許可證

文檔中未提及許可證相關信息。

開發

npm run check  # 對後端和前端進行代碼檢查和測試

部署選項

直接部署

# 完整部署（默認使用us-east-1）
python publish.py --project-name myapp --admin-email admin@example.com

# 跳過儀表板構建（仍構建Web組件）
python publish.py --project-name myapp --admin-email admin@example.com --skip-ui

# 跳過所有UI構建（儀表板和Web組件）
python publish.py --project-name myapp --admin-email admin@example.com --skip-ui-all

# 啟用演示模式（每日上傳限制5次，每日聊天限制30次；禁用重新索引/重新處理/刪除功能）
python publish.py --project-name myapp --admin-email admin@example.com --demo-mode

發佈到AWS Marketplace（維護者）

要更新一鍵部署模板：

python publish.py --publish-marketplace

此命令會打包應用程序並上傳到S3，以便進行一鍵部署。

注意：目前需要使用us-east-1（Nova多模態嵌入）。當其他區域可用時，可使用 --region <region>。

致謝

本項目受到以下項目的啟發：

• Accelerated Intelligent Document Processing on AWS - AWS解決方案庫參考架構
• docs-mcp-server - 用於文檔搜索的MCP服務器