Sui MCP Server

🚀 MCP 服務器與 FAISS 結合實現 RAG 項目文檔

本項目將 MCP 服務器與 FAISS（高效的相似性搜索和機器學習庫）相結合，實現了 RAG（檢索增強生成）功能。它提供了完整的文檔檢索和生成工作流程，支持從 GitHub 提取 Move 文件，並集成大型語言模型（LLM）來生成增強回答。

🚀 快速開始

MCP 服務器與 FAISS 結合的 RAG 項目，為文檔檢索和生成提供了強大的解決方案。以下是快速上手的步驟：

1. 克隆項目倉庫：

git clone https://github.com/your-repository/mcp_server.git
cd mcp_server

2. 安裝依賴：

pip install -r requirements.txt

3. 配置環境變量： 創建一個 .env 文件並添加以下內容：

GITHUB_TOKEN=your_github_token_here
OPENAI_API_KEY=your_openai_api_key_here

4. 初始化服務器：

python main.py --port 8000

✨ 主要特性

• 文檔檢索：藉助 FAISS 進行高效的相似性搜索，能快速定位相關文檔。
• Move 文件提取：支持從 GitHub 下載和處理相關 Move 文件，提供多種提取方式。
• RAG 管道：實現了完整的 RAG 工作流程，涵蓋文檔檢索、上下文形成和 LLM 響應生成。
• API 集成：提供 RESTful API 接口，方便進行遠程文檔索引和檢索操作。

📦 安裝指南

環境依賴

• Python 3.8+
• FAISS 庫
• requests 庫
• transformers 庫
• torch 庫

配置步驟

1. 克隆項目倉庫：

git clone https://github.com/your-repository/mcp_server.git
cd mcp_server

2. 安裝依賴：

pip install -r requirements.txt

3. 配置環境變量： 創建一個 .env 文件並添加以下內容：

GITHUB_TOKEN=your_github_token_here
OPENAI_API_KEY=your_openai_api_key_here

💻 使用示例

基礎用法

初始化服務器

python main.py --port 8000

調用 API

發送 POST 請求到 http://localhost:8000/mcp/action，請求體如下：

{
  "operation": "retrieve_documents",
  "params": {
    "query": "你的查詢內容",
    "top_k": 5
  }
}

下載 Move 文件

通過以下命令下載 GitHub 上的相關 Move 文件：

python download_move_files.py --query "your-query" --output-dir ./docs/move_files

📚 詳細文檔

項目結構

mcp_server/
├── __init__.py             # 包初始化文件
├── main.py                # 主服務器文件
├── mcp_api.py             # MCP API 實現
├── index_move_files.py    # 文件索引工具
├── local_query.py         # 本地查詢工具
├── download_move_files.py # GitHub Move 文件提取器
├── rag_integration.py     # LLM 集成模塊
├── pyproject.toml         # 包配置文件
├── requirements.txt       # 依賴管理
├── .env.example           # 環境變量示例
├── README.md              # 項目說明文檔
├── data/                  # 數據存儲目錄
├── docs/                  # 樣本文檔
│   └── move_files/        # 下載的 Move 文件
├── models/                # 模型實現
│   └── vector_store.py    # FAISS 向量存儲實現
└── utils/
    ├── document_processor.py  # 文檔處理工具
    └── github_extractor.py    # GitHub 文件提取工具

核心組件

MCP API 實現 (mcp_api.py)

• 提供 /mcp/action 端點，支持以下操作：
  • retrieve_documents：根據查詢檢索相關文檔。
  • index_documents：從指定目錄索引文檔。

RAG 集成 (rag_integration.py)

• 實現完整的 RAG 工作流程：
  1. 搜索查詢
  2. 文檔檢索
  3. 上下文形成
  4. LLM 響應生成

GitHub Move 文件提取 (download_move_files.py)

• 支持兩種文件提取方式：
  • GitHub API（推薦）：需要配置有效的 GitHub Token。
  • 命令行：支持通過命令行指定查詢參數下載文件。

🔧 技術細節

• 向量存儲：使用 FAISS 實現高效的文檔向量化和相似性搜索。
• 模型集成：支持多種 LLM 模型，如 GPT、BERT 等。
• 文件處理：提供靈活的文檔解析和預處理功能。

📄 許可證

本項目遵循 MIT 許可證，詳情請參閱 LICENSE 文件。