Crawl4ai (Web Scraping & Crawling)

🚀 Crawl4AI MCP 服務器

本項目是一個將 Crawl4AI 集成到 Cursor AI 中的 Model Context Protocol (MCP) 服務器實現。它能提供網絡抓取和爬蟲功能，可作為大語言模型（LLM）在 Cursor Composer 代理模式中的實用工具。

🚀 快速開始

本項目需要安裝 Python 3.10 或更高版本。

✨ 主要特性

• 單頁抓取
• 網站爬取

📦 安裝指南

基本設置說明也在 官方文檔 MCP 服務器快速入門 中提供。

設置您的環境

首先，安裝 uv 並設置 Python 項目和環境：

MacOS/Linux:

curl -LsSf https://astral.sh/uv/install.sh | sh

Windows:

powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"

確保之後重新啟動終端，以便 uv 命令被識別。

完成以下步驟：

1. 克隆倉庫
2. 使用 UV 安裝依賴項（僅第一次）:

# 進入 crawl4ai-mcp 目錄
cd crawl4ai-mcp

# 安裝依賴項 (僅第一次)
uv venv
uv sync

# 激活虛擬環境
source .venv/bin/activate

# 運行服務器
python main.py

3. 添加到 Cursor 的 MCP 服務器或 Claude 的 MCP 服務器中 您可能需要在命令字段中提供 uv 可執行文件的完整路徑。可以通過運行 which uv 在 MacOS/Linux 或 where uv 在 Windows 上獲得。

{
  "mcpServers": {
    "Crawl4AI": {
      "command": "uv",
      "args": [
        "--directory",
        "/ABSOLUTE/PATH/TO/PARENT/FOLDER/crawl4ai-mcp",
        "run",
        "main.py"
      ]
    }
  }
}

📚 詳細文檔

此 MCP 服務器為 LLM 提供以下工具：

scrape_webpage(url: str)

• 描述：使用 Crawl4AI 抓取指定網頁的內容和元數據。
• 參數：
  • url (字符串，必需)：要抓取的網頁 URL。
• 返回：包含一個 TextContent 對象的列表，該對象包含以 Markdown 格式為主的抓取內容作為 JSON。

crawl_website(url: str, crawl_depth: int = 1, max_pages: int = 5)

• 描述：使用 Crawl4AI 從指定 URL 開始進行爬蟲活動，深度和頁面數量根據要求限制。
• 參數：
  • url (字符串，必需)：要開始爬取的起始 URL。
  • crawl_depth (整數，可選，默認值為 1)：相對於起始 URL 的最大爬取深度。
  • max_pages (整數，可選，默認值為 5)：爬取過程中抓取的最大頁面數量。
• 返回：包含一個 TextContent 對象的列表，該對象包含 JSON 數組結果，表示爬取的頁面信息（包括 URL、成功狀態、Markdown 內容或錯誤）。