Ragstack Lambda

🚀 AIチャット付きサーバーレスドキュメントおよびメディア処理

AIチャット機能を備えたサーバーレスなドキュメントとメディア処理システムです。ゼロスケールアーキテクチャを採用しており、ベクターデータベースの費用やアイドルコストがかかりません。ドキュメント、画像、ビデオ、音声をアップロードし、OCRや文字起こしでテキストを抽出し、Amazon BedrockまたはMCP経由のAIアシスタントを使ってクエリを行うことができます。

質問はこちら！

✨ 主な機能

• ☁️ 完全なサーバーレスアーキテクチャ（Lambda、Step Functions、S3、DynamoDB）
• 🧠 新機能：テキストと画像のベクトル化にAmazon Novaマルチモーダル埋め込みを使用
• 📄 ドキュメントの処理とベクトル化（PDF、画像、Officeドキュメント、HTML、CSV、JSON、XML、EML、EPUB）→ 管理された知識ベースに保存
• 🎬 新機能：ビデオ/音声の処理 - AWS Transcribeで音声を文字起こしし、タイムスタンプで検索可能
• 💬 検索拡張コンテキストとソースの帰属付きのAIチャット
• 📎 折りたたみ可能なソース引用とオプションのドキュメントダウンロード
• ⏱️ 新機能：タイムスタンプリンク付きのメディアソース - クリックで正確な位置から再生
• 🔍 メタデータフィルタリング - ドキュメントのメタデータを自動検出し、検索結果をフィルタリング
• 🎯 フィルタリングされた結果の関連性向上 - メタデータフィルターの一致結果を優先
• 🔄 知識ベースの再インデックス作成 - 更新された設定で既存のドキュメントのメタデータを再生成
• 🗑️ ドキュメント管理 - ダッシュボードからドキュメントを再処理、再インデックス作成、または削除
• 🌐 任意のフレームワーク（React、Vue、Angular、Svelte）用のWebコンポーネント
• 🚀 ワンクリックでのデプロイ
• 💰 月額$7 - 10（1000ドキュメント、Textract + Haiku）

🎥 ライブデモ

基本パイプライン：コアのドキュメント処理ツール - ドキュメントのアップロード、OCR、およびクエリを行うことができます。

プロジェクト展示：RAGStackが実際のアプリケーションでどのように機能するかを確認できます。

🚀 クイックスタート

オプション1: ワンクリックデプロイ（AWSマーケットプレイス）

このリポジトリは現在積極的に開発されており、頻繁に変更される可能性があります。

AWSコンソールから直接デプロイできます。ローカル環境のセットアップは不要です。

1. AWSマーケットプレイスでRAGStackを購読 （無料で、必須ではありません - 購読すると、Lambdaロールが初回呼び出し時に自動的にBedrockモデルの契約を受け入れます）
2. ここをクリックしてデプロイ
3. スタック名（小文字のみ、例："my-docs"）と管理者のメールアドレスを入力
4. スタックの作成をクリック（デプロイに約10分かかります）

デプロイ後

• 一時パスワードを含むメールを確認してください（Cognitoから送信されます）
• CloudFormation → あなたのスタック → 出力タブでダッシュボードのURL（UIUrl）を見つけます。

オプション2: ソースからデプロイ

カスタマイズや開発を行う場合には、この方法を使用します。

前提条件

• 管理者アクセス権を持つAWSアカウント
• Python 3.13以上、Node.js 24以上
• AWS CLI、SAM CLI（設定済み）
• Docker（Lambdaレイヤーのビルドに必要）

git clone https://github.com/HatmanStack/RAGStack-Lambda.git
cd RAGStack-Lambda

# 仮想環境を作成し、依存関係をインストール
python -m venv venv
source venv/bin/activate  # Windowsの場合は: venv\Scripts\activate
pip install -r requirements.txt

# デプロイ（デフォルトでus-east-1のNovaマルチモーダル埋め込みを使用）
python publish.py \
  --project-name my-docs \
  --admin-email admin@example.com

オプション3: ネストされたスタックデプロイメント

より大きなCloudFormationスタックの一部としてRAGStackをデプロイします。詳細は ネストされたスタックデプロイガイド を参照してください。

簡単な例

Resources:
  RAGStack:
    Type: AWS::CloudFormation::Stack
    Properties:
      TemplateURL: https://ragstack-quicklaunch-public.s3.us-east-1.amazonaws.com/ragstack-template.yaml
      Parameters:
        StackPrefix: 'my-app-ragstack'  # 必須: 小文字の接頭辞
        AdminEmail: admin@example.com

💻 Webコンポーネントの統合

Webコンポーネントの統合ガイドについては RAGSTACK_CHAT.md を参照してください。

💻 APIアクセス

サーバーサイドの統合では、APIキー認証を使用します。キーはダッシュボード → 設定から取得できます。

curl -X POST 'YOUR_GRAPHQL_ENDPOINT' \
  -H 'x-api-key: YOUR_API_KEY' \
  -H 'Content-Type: application/json' \
  -d '{"query": "query { searchKnowledgeBase(query: \"...\") { results { content } } }"}'

Webコンポーネントでは、IAM認証を使用します（APIキーは不要で、自動的に処理されます）。

各UIタブには、サーバーサイドのAPIの例が展開可能なセクションに表示されます。

💻 MCPサーバー（AIアシスタントの統合）

Claude Desktop、Cursor、VS Code、Amazon Q CLI、その他のMCP互換ツールで直接あなたの知識ベースを使用できます。

# インストール（またはゼロインストールのuvxを使用）
pip install ragstack-mcp

AIアシスタントのMCP設定に追加します。

{
  "ragstack-kb": {
    "command": "uvx",
    "args": ["ragstack-mcp"],
    "env": {
      "RAGSTACK_GRAPHQL_ENDPOINT": "YOUR_ENDPOINT",
      "RAGSTACK_API_KEY": "YOUR_API_KEY"
    }
  }
}

その後、自然な言葉で質問できます。例："認証ドキュメントを私の知識ベースから検索して"

完全なセットアップ手順については MCPサーバーのドキュメント を参照してください。

🔧 アーキテクチャ

Upload → OCR → Embeddings → Bedrock KB
                                ↓
 Web UI (Dashboard + Chat) ←→ GraphQL API
                                ↓
 Web Component ←→ AI Chat with Sources

💻 使用例

ドキュメント

様々な形式のドキュメントをアップロードできます。自動検出機能により、最適なプロセッサーにルーティングされます。

処理時間：アップロード → 処理中 → インデックス化済み（通常、テキストは1 - 5分、OCRは2 - 15分、メディアは5 - 20分）

画像

キャプション付きでJPG、PNG、GIF、WebPをアップロードできます。視覚コンテンツとキャプションテキストの両方が検索可能です。

Webスクレイピング

Webサイトを知識ベースにスクレイピングできます。詳細は Webスクレイピング を参照してください。

ビデオと音声

MP4、WebM、MP3、WAV、M4A、OGG、またはFLACファイルをアップロードできます。AWS Transcribeを使用して音声を文字起こしし、30秒のチャンクに分割して検索可能にします。ソースにはタイムスタンプ（例："1:30 - 2:00"）が含まれ、クリック可能なリンクで正確な位置から再生できます。

機能

• 話者分離（誰が何を言ったかを特定）
• 設定可能な言語（30以上の言語をサポート）
• チャット応答にタイムスタンプリンク付きのソースを表示

言語と話者の設定については 設定 を参照してください。

チャット

あなたのコンテンツに関する質問を行うことができます。回答のソースが表示されます。

📚 ドキュメント

• 設定 - 設定、クォータ、APIキー、およびドキュメント管理
• ネストされたスタックデプロイメント - より大きなCloudFormationスタックの一部としてデプロイ
• Webスクレイピング - Webサイトをスクレイピング
• メタデータフィルタリング - メタデータを自動検出し、結果をフィルタリング
• チャットコンポーネント - どこにでもチャットを埋め込む
• アーキテクチャ - システム設計とAPIリファレンス
• 開発 - ローカル開発
• トラブルシューティング - 一般的な問題
• ライブラリリファレンス - lib/ragstack_commonのパブリックAPI

💻 開発

npm run check  # すべてのチェック（バックエンド + フロントエンド）

🚀 デプロイオプション

直接デプロイ

# 完全なデプロイ（デフォルトでus-east-1）
python publish.py --project-name myapp --admin-email admin@example.com

# ダッシュボードのビルドをスキップ（Webコンポーネントはビルドされます）
python publish.py --project-name myapp --admin-email admin@example.com --skip-ui

# すべてのUIビルドをスキップ（ダッシュボードとWebコンポーネント）
python publish.py --project-name myapp --admin-email admin@example.com --skip-ui-all

# デモモードを有効にする（レート制限：1日5回のアップロード、1日30回のチャット；再インデックス作成/再処理/削除を無効にする）
python publish.py --project-name myapp --admin-email admin@example.com --demo-mode

AWSマーケットプレイスへの公開（メンテナー用）

ワンクリックデプロイテンプレートを更新するには、次のコマンドを実行します。

python publish.py --publish-marketplace

これにより、アプリケーションがパッケージ化され、S3にアップロードされてワンクリックデプロイが可能になります。

注意：現在はus-east-1（Novaマルチモーダル埋め込み）が必要です。他のリージョンで利用可能になった場合は、--region <region> を使用してください。

🙏 謝辞

このプロジェクトは以下のプロジェクトにインスピレーションを得ています。

• Accelerated Intelligent Document Processing on AWS - AWSソリューションライブラリのリファレンスアーキテクチャ
• docs-mcp-server - ドキュメント検索用のMCPサーバー