MCP Rag

🚀 MCP - RAG：低延遲 RAG 服務

MCP - RAG 是基於 MCP（Model Context Protocol）協議構建的低延遲 RAG（Retrieval - Augmented Generation）服務架構，能夠高效地實現知識檢索與生成，為應用提供強大的知識支持。

🚀 快速開始

環境要求

• Python >= 3.13
• uv 包管理器

安裝依賴

uv sync

啟動服務

uv run mcp-rag serve

⚠️ 重要提示

首次啟動會報錯（懶得改），配置好配置文件就沒問題了。

web 配置頁面

uv run mcp-rag web

• 訪問配置頁面：http://localhost:8000/config-page
• 訪問資料管理頁面：http://localhost:8000/documents-page
• 使用 HTTP API：http://localhost:8000/docs (Swagger UI)

配置管理

MCP - RAG 現在使用 JSON 文件進行持久化配置管理。data\config.json 文件存儲配置信息，支持通過 Web 界面進行修改和保存。

默認配置示例：

{
  "host": "0.0.0.0",
  "port": 8000,
  "http_port": 8000,
  "debug": false,
  "vector_db_type": "chroma",
  "chroma_persist_directory": "./data/chroma",
  "qdrant_url": "http://localhost:6333",
  "embedding_provider": "doubao",
  "embedding_model": "doubao-embedding-text-240715",
  "embedding_device": "cpu",
  "embedding_cache_dir": null,
  "embedding_api_key": "KEY-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
  "embedding_base_url": "https://ark.cn-beijing.volces.com/api/v3",
  "llm_provider": "doubao",
  "llm_model": "doubao-seed-1-6-flash-250828",
  "llm_base_url": "https://ark.cn-beijing.volces.com/api/v3",
  "llm_api_key": "KEY-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
  "enable_llm_summary": false,
  "enable_thinking": false,
  "max_retrieval_results": 5,
  "similarity_threshold": 0.7,
  "enable_reranker": false,
  "enable_cache": false
}

MCP 服務器配置

小智 go 服務端能通過 MCP 協議與 MCP - RAG 進行交互。以下是一個示例配置：

{
    "mcpServers": {
        "rag": {
            "command": "uv",
            "args": [
                "run",
                "mcp-rag",
                "serve"
            ],
            "env": {
                "PYTHONUNBUFFERED": "1",
                "MODEL_TYPE": "OPENAI",

                "OPENAI_API_KEY": "aa2ae42b-c82b-41ec-bf4e-51c8ab0e4d78",
                "OPENAI_API_BASE": "https://ark.cn-beijing.volces.com/api/v3",
                "OPENAI_MODEL": "doubao-1-5-pro-32k-250115",
                "OPENAI_TEMPERATURE": "0",

                "EMBEDDING_PROVIDER": "OPENAI",
                "OPENAI_EMBEDDING_MODEL": "doubao-embedding-text-240715",

                "COLLECTION_NAME": "default_collection"
            }
        }
    }
}

使用 MCP 工具

{
  "name": "rag_ask",
  "arguments": {
    "query": "查詢內容",
    "mode": "raw",
    "limit": 5
  }
}

✨ 主要特性

• 極低延遲：可實現 <100ms 的本地知識檢索。
• 雙模式支持：具備 Raw 模式（直接檢索）和 Summary 模式（檢索 + 摘要）。
• LLM 總結功能：支持 Doubao、Ollama 等 LLM 提供商進行智能摘要。
• 模塊化架構：MCP Server 作為統一知識接口層。
• 異步優化：採用異步調用與模型預熱機制。
• 可擴展設計：預留 reranker 與緩存模塊接口。

🔧 技術細節

📄 許可證

本項目採用 MIT License。

🤝 貢獻

歡迎提交 Issue 和 Pull Request！