Rag MCP Server

🚀 RAG架構概述

本項目基於RAG（Retrieval-Augmented Generation）架構，藉助API Gateway和Lambda函數處理請求，結合OpenAI、OpenSearch Serverless和S3存儲桶完成文本檢索與生成任務。文檔將詳細介紹項目的部署流程、功能模塊以及常見問題的解決方案。

🚀 快速開始

本項目基於RAG架構，利用API Gateway和Lambda函數處理請求，結合OpenAI、OpenSearch Serverless和S3存儲桶完成文本檢索與生成。下面為你介紹部署和使用的基本步驟。

📦 安裝指南

環境準備

• 確保已安裝AWS CLI工具並配置好相應的IAM權限。
• 安裝Python 3.8或更高版本，並確保已安裝boto3, openai, 和 pytest等依賴庫。

代碼結構

project/
├── src/
│   └── lambda_function.py          # Lambda函數實現邏輯
├── stack/
│   └── rag_mpc_stack.py           # CDK堆棧定義文件
└── example.py                     # 示例腳本，演示API調用方式

依賴管理

• 添加Python包至pyproject.toml並運行make deps進行安裝。
• 確保所有依賴版本與項目兼容。

部署步驟

# 安裝依賴
pip install -r requirements.txt

# 構建項目
make build

# 部署到AWS
make deploy AWS_PROFILE=your-profile AWS_REGION=us-east-1

✨ 主要特性

API Gateway

• 提供HTTP API接口，監聽/mcp路徑。
• 支持GET請求用於服務發現，POST請求處理任務執行。

Lambda Function

• 解析MCP協議的請求。
• 從Secrets Manager獲取OpenAI密鑰。
• 執行向量檢索（基於OpenSearch Serverless）和內容生成（調用OpenAI API）。
• 管理S3存儲桶中的文檔。

數據存儲

• 使用OpenSearch Serverless進行高效向量檢索。
• 通過S3存儲原始文本文件，支持版本控制和生命週期管理。

安全機制

• IAM策略嚴格控制Lambda函數的權限。
• Secrets Manager確保敏感信息的安全傳輸與存儲。
• API Gateway集成身份驗證功能，確保只有授權用戶可以訪問服務。

💻 使用示例

環境變量配置

export API_KEY=your-api-key
export API_URL=$(aws cloudformation describe-stacks --stack-name rag-stack | jq -r '.Stacks[0].Outputs[].OutputValue')

服務發現請求

import requests

response = requests.get(f"{API_URL}/mcp/health")
print(response.json())

文本生成任務

payload = {
    "prompt": "請簡述RAG技術的核心優勢。",
    "temperature": 0.7,
    "max_tokens": 500
}

response = requests.post(f"{API_URL}/mcp/generate", json=payload, headers={'Authorization': f'Bearer {API_KEY}'})
print(response.json())

📚 詳細文檔

開發注意事項

• 測試環境：使用make test運行單元測試，並通過mock模塊模擬外部依賴（如AWS、OpenAI等）。
• 日誌監控：部署後可通過make logs即時查看Lambda函數的日誌輸出，便於調試和性能優化。
• 代碼更新：修改src/目錄下的業務邏輯代碼後，需重新構建並部署新的Lambda版本。

常見問題解決

部署失敗

• 檢查IAM權限是否正確。
• 確保所有資源棧狀態為CREATE_COMPLETE。
• 查看CloudFormation控制檯的事件日誌，定位具體錯誤。

API響應慢

• 優化OpenSearch索引策略。
• 增加Lambda函數的內存配額或超時時間。
• 使用AWS提供的性能監控工具（如X-Ray）進行分析。

密鑰洩露

• 定期檢查Secrets Manager中的憑證狀態。
• 配置自動輪換策略，減少人為操作風險。
• 啟用SSO（單點登錄）功能，加強身份驗證。

擴展性問題

• 根據負載情況配置Auto Scaling組。
• 使用API Gateway的速率限制功能控制併發請求。
• 預分配足夠資源，避免高峰期性能瓶頸。

監控與維護

• 日誌分析：通過ELK Stack或S3存儲的日誌文件進行深入分析。
• 性能優化：定期評估系統負載，調整架構參數。
• 版本控制：記錄每次部署的變更日誌，便於回滾和追溯。

以上文檔完整描述了RAG架構項目的部署與管理流程。如需進一步幫助，請參考官方文檔或聯繫技術支持團隊。