Rag MCP Server

🚀 RAGアーキテクチャの概要

このプロジェクトはRAG（Retrieval-Augmented Generation）アーキテクチャに基づいており、API GatewayとLambda関数を使用してリクエストを処理し、OpenAI、OpenSearch Serverless、およびS3ストレージバケットを組み合わせてテキスト検索と生成タスクを実行します。このドキュメントでは、プロジェクトのデプロイプロセス、機能モジュール、および一般的な問題の解決策について詳しく説明しています。

🚀 クイックスタート

このセクションでは、RAGアーキテクチャに基づくプロジェクトのデプロイと使用に関する基本的な手順を説明します。

✨ 主な機能

API Gateway

• HTTP APIインターフェイスを提供し、/mcpパスを監視します。
• GETリクエストはサービスの検出に使用され、POSTリクエストはタスクの実行を処理します。

Lambda Function

• MCPプロトコルのリクエストを解析します。
• Secrets ManagerからOpenAIキーを取得します。
• OpenSearch Serverlessを使用したベクトル検索とOpenAI APIを呼び出したコンテンツ生成を実行します。
• S3ストレージバケット内のドキュメントを管理します。

データストレージ

• OpenSearch Serverlessを使用して効率的なベクトル検索を行います。
• S3を使用して元のテキストファイルを保存し、バージョン管理とライフサイクル管理をサポートします。

セキュリティ機構

• IAMポリシーによりLambda関数の権限を厳密に制御します。
• Secrets Managerにより機密情報の安全な転送と保存を確保します。
• API Gatewayに認証機能を統合し、承認されたユーザーのみがサービスにアクセスできるようにします。

📦 インストール

環境準備

• AWS CLIツールをインストールし、適切なIAM権限を設定してください。
• Python 3.8以上をインストールし、boto3, openai, および pytestなどの依存ライブラリをインストールしてください。

コード構造

project/
├── src/
│   └── lambda_function.py          # Lambda関数の実装ロジック
├── stack/
│   └── rag_mpc_stack.py           # CDKスタックの定義ファイル
└── example.py                     # API呼び出し方法を示すサンプルスクリプト

依存関係の管理

• Pythonパッケージをpyproject.tomlに追加し、make depsを実行してインストールしてください。
• すべての依存関係のバージョンがプロジェクトと互換性があることを確認してください。

デプロイ手順

# 依存関係のインストール
pip install -r requirements.txt

# プロジェクトのビルド
make build

# AWSへのデプロイ
make deploy AWS_PROFILE=your-profile AWS_REGION=us-east-1

💻 使用例

基本的な使用法

環境変数の設定

export API_KEY=your-api-key
export API_URL=$(aws cloudformation describe-stacks --stack-name rag-stack | jq -r '.Stacks[0].Outputs[].OutputValue')

サービス検出リクエスト

import requests

response = requests.get(f"{API_URL}/mcp/health")
print(response.json())

テキスト生成タスク

payload = {
    "prompt": "请简述RAG技术的核心优势。",
    "temperature": 0.7,
    "max_tokens": 500
}

response = requests.post(f"{API_URL}/mcp/generate", json=payload, headers={'Authorization': f'Bearer {API_KEY}'})
print(response.json())

📚 ドキュメント

開発上の注意事項

• テスト環境：make testを使用して単体テストを実行し、mockモジュールを使用して外部依存関係（AWS、OpenAIなど）を模擬してください。
• ログ監視：デプロイ後、make logsを使用してLambda関数のログ出力をリアルタイムで確認できます。これにより、デバッグとパフォーマンスの最適化が容易になります。
• コード更新：src/ディレクトリ内の業務ロジックコードを変更した後は、新しいLambdaバージョンを再構築してデプロイする必要があります。

一般的な問題の解決策

デプロイ失敗

• IAM権限が正しいことを確認してください。
• すべてのリソーススタックの状態がCREATE_COMPLETEであることを確認してください。
• CloudFormationコンソールのイベントログを確認して、具体的なエラーを特定してください。

API応答が遅い

• OpenSearchインデックス戦略を最適化してください。
• Lambda関数のメモリ割り当てまたはタイムアウト時間を増やしてください。
• AWSが提供するパフォーマンス監視ツール（X-Rayなど）を使用して分析してください。

キーの漏洩

• Secrets Manager内の資格情報の状態を定期的に確認してください。
• 自動ローテーションポリシーを設定して、人為的な操作リスクを減らしてください。
• SSO（シングルサインオン）機能を有効にして、認証を強化してください。

拡張性の問題

• 負荷状況に応じてAuto Scalingグループを設定してください。
• API Gatewayのレート制限機能を使用して同時リクエストを制御してください。
• 十分なリソースを事前に割り当てて、ピーク時のパフォーマンスのボトルネックを回避してください。

監視とメンテナンス

• ログ分析：ELK StackまたはS3に保存されたログファイルを使用して詳細な分析を行ってください。
• パフォーマンス最適化：定期的にシステム負荷を評価し、アーキテクチャパラメータを調整してください。
• バージョン管理：各デプロイの変更ログを記録して、ロールバックと追跡を容易にしてください。

以上のドキュメントでは、RAGアーキテクチャプロジェクトのデプロイと管理プロセスが完全に説明されています。さらなる支援が必要な場合は、公式ドキュメントを参照するか、技術サポートチームにお問い合わせください。