Crawl4ai

🚀 Crawl4AI MCP 服務器

Crawl4AI MCP 服務器是一款高性能的網絡爬蟲系統，專為 AI 助手量身打造。它支持通過模型上下文協議（MCP）進行連接，並且提供了一系列強大工具，助力 AI 助手開展網頁抓取和數據處理工作。

🚀 快速開始

安裝說明

1. 本地安裝：

   npm install
   

2. 運行環境準備：
   • 確保 Node.js 版本在 16.0.0 或以上。
   • 安裝 Docker 並配置好相關環境。

運行與部署

1. 本地啟動：

   npm run dev
   

2. Docker 部署：

   docker-compose up -d
   

使用說明

認證機制

• 實現了基於 OAuth 的安全認證。
• 支持使用 API 密鑰進行身份驗證。

與 MCP 客戶端連接

在 Claude Desktop 或其他 MCP 客戶端中添加本服務器地址作為工具數據源。

✨ 主要特性

核心功能

1. 網絡爬蟲：支持從指定 URL 開始進行深度優先或廣度優先的網頁抓取。
2. 數據存儲：將抓取的內容存儲在分佈式數據庫中，確保高可用性和持久性。
3. 內容提取：使用先進的自然語言處理技術提取文檔中的關鍵信息。

高級功能

1. 任務管理：
   • crawl：從指定 URL 開始進行網絡爬蟲操作。
   • getCrawl：根據 ID 獲取爬取數據。
   • listCrawls：列出所有爬取記錄或按域名篩選結果。
2. 搜索功能：支持在抓取的文檔中根據查詢關鍵詞進行全文檢索。
3. 結構化提取：從指定 URL 提取結構化數據，如表格、列表等。

📚 詳細文檔

文檔鏈接

• 項目文檔
• 模型上下文協議規範

項目結構

src/
├── main.ts: 入口文件，啟動服務器和相關服務
├── crawler/
│   ├── crawler.ts: 網絡爬蟲核心邏輯
│   └── storage.ts: 數據存儲與檢索模塊
├── extractor/
│   └── extractor.ts: 內容提取算法實現
└── tools/
    ├── crawlTool.ts: 爬蟲工具定義
    ├── searchTool.ts: 搜索工具定義
    └── extractTool.ts: 提取工具定義

配置選項

通過修改環境變量實現靈活配置：

MAX_CRAWL_DEPTH=3         # 默認爬取深度限制
MAX_CRAWL_PAGES=100       # 默認抓取頁面數量上限
API_VERSION=v1            # API 版本號
OAUTH_CLIENT_ID=your_id    # OAuth 客戶端 ID
OAUTH_CLIENT_SECRET=your_secret  # OAuth 客戶端密鑰

🔧 技術細節

開發規劃

當前開發階段

1. 項目初始化：完成 Cloudflare Worker 配置和 TypeScript 基礎搭建。
2. MCP 服務器實現：完成 MCP 協議適配和服務框架。
3. Crawl4AI 組件集成：整合 Crawl4AI 功能模塊。

未來規劃

1. 性能優化：
   • 提升爬蟲效率，優化存儲結構。
2. 功能擴展：
   • 支持多線程爬取。
   • 增加更多數據處理功能，如圖像識別、表格解析等。

📄 許可證

文檔中未提及相關內容，暫不展示。

附錄

常見問題

• 如何提高爬蟲效率？：可以優化爬取策略和增加代理服務器。
• 數據存儲有哪些限制？：目前支持主流的數據庫，後續將擴展更多存儲方案。

聯繫方式

• 郵箱: support@crawl4ai.com
• GitHub: Crawl4AI 項目

感謝使用 Crawl4AI MCP 服務器！如需幫助，請隨時聯繫我們。