Search Engine With Rag And MCP

🚀 帶 RAG 和 MCP 的搜索引擎

這是一個強大的搜索引擎，它結合了LangChain、模型上下文協議（MCP）、檢索增強生成（RAG）和Ollama，構建出一個代理型AI系統。該系統具備網絡搜索、信息檢索的能力，並能提供相關答案，為用戶獲取信息提供了便利。

🚀 快速開始

本搜索引擎融合了多種先進技術，能高效地完成網絡搜索與信息檢索任務。你可以按照以下步驟進行安裝和使用。

✨ 主要特性

• 網絡搜索功能：藉助Exa API實現網絡搜索，使用FireCrawl獲取網頁內容。
• 信息提取：運用RAG（檢索增強生成）技術提取更相關的信息。
• 標準化調用：通過MCP（模型上下文協議）服務器實現標準化工具調用。
• 多LLM支持：支持通過Ollama使用本地大語言模型（LLM），也支持通過OpenAI使用基於雲的LLM。
• 靈活架構：具備靈活的架構，支持直接搜索、代理型搜索或服務端模式。
• 錯誤處理：擁有全面的錯誤處理機制和優雅的降回策略。
• 類型提示：基於Python 3.13+開發，代碼帶有類型提示。
• 異步處理：採用異步處理方式，高效執行網絡操作。

📦 安裝指南

1. 克隆倉庫：

git clone https://github.com/your-username/search-engine-with-rag-and-mcp.git
cd search-engine-with-rag-and-mcp

2. 安裝依賴：

pip install -r requirements.txt

💻 使用示例

基礎用法

直接搜索模式

運行搜索引擎服務端：

python src/main.py serve --mode direct

使用搜索引擎進行查詢：

python src/main.py search --query "your-query-here"

高級用法

代理型搜索模式

運行代理服務端：

python src/main.py serve --mode agent

通過API調用代理進行搜索：

curl -X POST http://localhost:8000/agent/search -d '{"query": "your-query-here"}'

MCP服務器模式

運行MCP服務器：

python src/main.py serve --mode mcp

通過HTTP協議調用MCP服務：

curl -X POST http://localhost:8001/mcp/execute -d '{"tool": "search", "input": "your-query-here"}'

📚 詳細文檔

架構

該項目集成了幾個關鍵組件：

1. 搜索模塊：使用Exa API進行網絡搜索，使用FireCrawl獲取內容。
2. RAG模塊：嵌入文檔、分塊並存儲到FAISS向量庫中。
3. MCP服務器：提供標準化協議用於工具調用。
4. 代理：基於LangChain的代理，利用搜索和RAG功能。

項目結構

search-engine-with-rag-and-mcp/
├── LICENSE              # MIT許可證
├── README.md            # 項目文檔
├── data/                # 數據目錄
├── docs/                # 文檔
│   └── env_template.md  # 環境變量文檔模板
├── logs/                # 日誌文件目錄（自動創建）
├── src/                 # 主包（源代碼）
│   ├── __init__.py      
│   ├── core/            # 核心功能
│   │   ├── __init__.py
│   │   ├── main.py      # 入口點
│   │   ├── search.py    # 網絡搜索模塊
│   │   ├── rag.py       # RAG實現
│   │   ├── agent.py     # LangChain代理
│   │   └── mcp_server.py # MCP服務器實現
│   └── utils/           # 工具包
        └── __init__.py
└── requirements.txt      # 依賴管理

開發

項目遵循以下最佳實踐：

• 代碼格式化：使用black進行自動格式化，確保編碼風格一致。
• 類型檢查：利用mypy進行靜態類型檢查，避免運行時錯誤。
• Linting：應用flake8和pylint進行代碼質量控制。
• 單元測試：採用pytest編寫和執行單元測試，確保功能正確性。

📄 許可證

項目遵循MIT許可證，詳細內容請參閱LICENSE文件。

👏 致謝

感謝以下項目的貢獻：

• LangChain 提供代理框架
• 模型上下文協議 提供標準化工具調用
• Ollama 本地LLM能力
• Exa 網絡搜索功能
• FireCrawl 內容檢索功能