Rust Local Rag

🚀 Rust本地RAG

這是一個高性能的本地RAG（檢索增強生成）系統，使用Rust構建，並通過模型上下文協議（MCP）與Claude Desktop集成。你可以直接在Claude對話中搜索和分析PDF文檔，而無需將數據發送到外部服務。

🚀 快速開始

1. 前提條件

# 安裝Rust
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

# 安裝Ollama
brew install ollama

# 安裝Poppler（用於PDF解析）
brew install poppler

# 啟動Ollama並安裝嵌入模型
make setup-ollama

2. 構建與安裝

git clone <this-repository>
cd rust-local-rag
make install

3. 配置Claude Desktop

在~/Library/Application Support/Claude/claude_desktop_config.json中添加以下內容：

{
    "mcpServers": {
        "rust-local-rag": {
            "command": "/Users/yourusername/.cargo/bin/rust-local-rag",
            "env": {
                "DATA_DIR": "/Users/yourusername/Documents/data",
                "DOCUMENTS_DIR": "/Users/yourusername/Documents/rag",
                "LOG_DIR": "/tmp/rust-local-rag",
                "LOG_LEVEL": "info",
                "LOG_MAX_MB": "10"
            }
        }
    }
}

4. 添加文檔並使用

# 將PDF文件添加到文檔目錄
cp your-files.pdf ~/Documents/rag/

# 重啟Claude Desktop
# 現在可以向Claude提問："Search my documents for information about X"

✨ 主要特性

• 本地處理PDF文檔：使用poppler進行文本提取。
• 生成嵌入向量：使用本地Ollama模型（無需調用外部API）。
• 提供語義搜索：可對文檔集合進行搜索。
• 無縫集成：通過MCP協議與Claude Desktop無縫集成。
• 保護隱私：所有數據處理都在本地進行。

📦 安裝指南

前提條件

# 安裝Rust
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

# 安裝Ollama
brew install ollama

# 安裝Poppler（用於PDF解析）
brew install poppler

# 啟動Ollama並安裝嵌入模型
make setup-ollama

構建與安裝

git clone <this-repository>
cd rust-local-rag
make install

💻 使用示例

基礎用法

#[tool(tool_box)]
impl ServerHandler for RagMcpServer {
    fn get_info(&self) -> ServerInfo {
        // Provides server metadata to Claude
    }
}

高級用法

#[tool(description = "Search through uploaded documents using semantic similarity")]
async fn search_documents(&self, query: String, top_k: Option<usize>) -> Result<CallToolResult, McpError>

#[tool(description = "List all uploaded documents")]  
async fn list_documents(&self) -> Result<CallToolResult, McpError>

#[tool(description = "Get RAG system statistics")]
async fn get_stats(&self) -> Result<CallToolResult, McpError>

📚 詳細文檔

• 設置指南：完整的安裝和配置說明。
• 使用指南：Claude Desktop集成和使用示例。

🔧 技術細節

什麼是MCP？

模型上下文協議（MCP）是一個標準，允許像Claude這樣的AI助手與外部工具和數據源進行交互。通過MCP，Claude不再侷限於其訓練數據，而是能夠：

• 調用外部工具和函數。
• 訪問實時數據源。
• 與本地應用程序集成。
• 在交互過程中保持上下文。

本項目如何使用Rust MCP SDK

本實現使用了rmcp crate（官方的Rust MCP SDK）來創建一個服務器，向Claude Desktop提供RAG功能。

MCP架構

┌─────────────────┐    MCP Protocol     ┌──────────────────┐
│                 │    (stdin/stdout)   │                  │
│  Claude Desktop │ ◄─────────────────► │   Rust RAG       │
│                 │                     │   MCP Server     │
└─────────────────┘                     └──────────────────┘
                                                │
                                                ▼
                                        ┌──────────────────┐
                                        │  Local RAG Stack │
                                        │                  │
                                        │  • PDF Parser    │
                                        │  • Ollama        │
                                        │  • Vector Store  │
                                        │  • Search Engine │
                                        └──────────────────┘

關鍵MCP組件

1. 服務器處理程序實現

#[tool(tool_box)]
impl ServerHandler for RagMcpServer {
    fn get_info(&self) -> ServerInfo {
        // Provides server metadata to Claude
    }
}

2. 工具定義 使用rmcp宏將RAG功能作為MCP工具暴露出來：

#[tool(description = "Search through uploaded documents using semantic similarity")]
async fn search_documents(&self, query: String, top_k: Option<usize>) -> Result<CallToolResult, McpError>

#[tool(description = "List all uploaded documents")]  
async fn list_documents(&self) -> Result<CallToolResult, McpError>

#[tool(description = "Get RAG system statistics")]
async fn get_stats(&self) -> Result<CallToolResult, McpError>

3. 傳輸層

// Uses stdin/stdout transport for Claude Desktop integration
let service = server.serve(stdio()).await?;

技術棧

• 🦀 Rust：核心應用程序語言，確保性能和安全性。
• 📡 rmcp：官方的Rust MCP SDK，用於與Claude集成。
• 🤖 Ollama：本地嵌入向量生成（nomic-embed-text）。
• 📄 Poppler：PDF文本提取。
• 🗃️ 自定義向量存儲：內存中的向量數據庫，實現快速搜索。

數據流

1. 文檔攝入：PDF → 文本提取 → 分塊。
2. 嵌入向量生成：文本塊 → Ollama → 向量嵌入。
3. 索引：嵌入向量 → 本地向量存儲。
4. 搜索：查詢 → 嵌入向量 → 相似度搜索 → 結果。
5. MCP集成：結果 → 通過MCP協議發送到Claude Desktop。

MCP集成細節

為什麼選擇MCP而不是HTTP API？

暴露的MCP工具

1. search_documents
   • 目的：對文檔集合進行語義搜索。
   • 輸入：查詢字符串，可選的結果數量。
   • 輸出：帶有相似度分數的排名搜索結果。
2. list_documents
   • 目的：文檔庫存管理。
   • 輸入：無。
   • 輸出：所有已索引文檔的列表。
3. get_stats
   • 目的：系統監控和調試。
   • 輸入：無。
   • 輸出：嵌入向量數量、內存使用情況、性能指標。

📄 許可證

本項目採用MIT許可證，詳情請參閱LICENSE文件。

🤝 貢獻

歡迎貢獻代碼！本項目展示了實用的MCP服務器實現模式，可用於其他用例。

開發

# 在開發模式下運行
make run

# 檢查格式
cargo fmt --check

# 運行代碼檢查工具
cargo clippy

🙏 致謝

• 模型上下文協議：提供協議規範。
• rmcp：出色的Rust MCP SDK。
• Ollama：用於本地嵌入向量生成。
• Claude Desktop：提供MCP集成支持。

使用Rust精心打造 | 由MCP提供支持 | 注重隱私的RAG