Document Crawler & Search

🚀 知識庫系統

這是一個使用爬取4AI（crawl4ai）和快速MCP（fastmcp）協議構建的知識庫系統，允許用戶通過自然語言查詢從文檔中獲取信息，為知識檢索提供了便捷的途徑。

🚀 快速開始

本知識庫系統能讓你通過自然語言查詢文檔信息。下面將為你介紹如何安裝和使用該系統。

📦 安裝指南

項目概述

此係統基於爬取4AI（crawl4ai）和快速MCP（fastmcp）協議構建，可藉助自然語言查詢從文檔裡獲取信息。

安裝步驟

1. 克隆倉庫：

   git clone git@github.com:yourusername/MCPDocSearch.git
   cd MCPDocSearch
   

2. 創建虛擬環境並安裝依賴：

   uv env create --python 3.8+
   pip install -r requirements.txt
   

📚 詳細文檔

文檔結構

項目包含以下關鍵部分：

• crawler_cli：負責網頁爬取和文檔生成。
• mcp_server：實現MCP協議，提供知識庫查詢接口。

核心流程

1. 爬蟲運行：
   • 使用crawl4ai從指定URL開始爬取。
   • 依據規則（如深度、鏈接模式）抓取頁面內容。
2. 內容清洗：
   • 可選步驟：使用BeautifulSoup清理HTML，移除導航欄等非必要元素。
3. 文檔生成：
   • 將清理後的HTML轉換為Markdown格式。
   • 保存至./storage/目錄。
4. MCP服務器啟動：

   uv run python -m mcp_server.main
   

配置示例

與Cursor/Claude桌面版集成

在項目根目錄下創建.cursor/mcp.json文件，內容如下：

{
  "mcpServers": {
    "doc-query-server": {
      "command": "uv",
      "args": [
        "--directory",
        "/your/MCPDocSearch/absolute/path",
        "run",
        "python",
        "-m",
        "mcp_server.main"
      ],
      "env": {}
    }
  }
}

依賴項

關鍵庫包括：

• crawl4ai：核心網絡爬取功能
• fastmcp：MCP服務器實現
• sentence-transformers：文本嵌入生成
• torch：sentence-transformers的依賴
• typer：構建命令行工具
• uv：項目和環境管理
• beautifulsoup4（通過crawl4ai使用）
• rich：增強終端輸出

體系結構

系統遵循以下流程：

1. 爬蟲CLI：用戶運行工具，指定起始URL及相關選項。
2. 網絡爬取：使用crawl4ai獲取網頁內容，並根據規則抓取鏈接。
3. 內容清洗：可選步驟，使用BeautifulSoup清理HTML。
4. 文檔生成：將處理後的內容轉換為Markdown格式並保存。
5. MCP服務器啟動：運行mcp_server.main模塊，提供知識庫查詢服務。

安全提示

• Pickle緩存：項目使用pickle模塊緩存處理數據。為確保安全，請保證./storage/目錄僅被受信任的用戶或進程訪問。

安全注意事項

⚠️ 重要提示

• 確保緩存目錄./storage/僅被授權用戶訪問。
• 定期清理舊文檔以減少潛在的安全風險。