Crawl4ai MCP

🚀 Crawl4AI 智能網絡爬蟲與人工智能處理服務器（MCP）

Crawl4AI 是一款用於智能網絡爬取和人工智能內容分析的 MCP (模型 - 控制器 - 處理器) 服務器。它提供簡單易用的 API，支持從網站抓取數據，並利用 Claude AI 模型對內容進行處理，能為用戶提供特定網站的深度洞察。

🚀 快速開始

Crawl4AI 主要服務於需要深入分析特定網站內容的個人和組織。與通用搜索引擎或人工智能助手提供的廣泛但淺層的結果不同，它能提供針對具體目標網站的深度洞察。

✨ 主要特性

適合的用戶

Crawl4AI 適用於多種類型的用戶，能為他們在不同場景下提供深度內容分析服務：

• 研究人員：可從特定網站或學術資源中提取結構化信息。
• 內容創作者：用於分析競爭對手的內容或行業趨勢。
• 數據分析師：能為商業智能目的處理網絡數據。
• 開發者：可構建需要網絡內容分析功能的應用程序。
• 數字營銷人員：分析行業網站、博客或競爭對手內容。
• 業務分析師：從多個來源收集行業特定信息。
• 知識工作者：對具體領域的內容進行綜合分析。

用戶如何受益於 Crawl4AI

與通用搜索和人工智能工具相比，Crawl4AI 優勢顯著：

• 深度優先於廣度：專注於特定網站的全面分析，而非廣泛但表面的結果。
• 可定製爬取參數：能完全控制爬取深度、內容提取方式及處理流程。
• 程序化集成：可輕鬆將網絡內容分析功能整合到應用程序和數據管道中。
• 靈活的人工智能處理：能對同一內容應用不同的分析方法（摘要、事實抽取、分類等）。
• 高效的內容理解：可通過先進的語言模型從文本中提取洞察。
• 增強的決策支持：為商業和技術決策提供可靠的數據支持。

功能概述

• 網絡爬取：利用 Puppeteer 和 Cheerio 實現高效的頁面抓取和解析。
• 內容處理：使用先進的人工智能模型對抓取的內容進行分析和理解。
• 可擴展架構：模塊化設計，支持靈活的擴展和自定義功能。
• 日誌記錄與監控：通過 Winston 進行詳細的運行狀態跟蹤。
• 安全合規：內置反反爬機制，確保符合網站使用政策。

📦 安裝指南

1. 克隆項目倉庫：

git clone https://github.com/yourusername/crawl4ai.git
cd crawl4ai

2. 安裝依賴項：

npm install

3. 配置環境變量：
   • 設置 PORT 為服務器運行的端口，默認為 3000。
   • 設置 ANTHROPIC_API_KEY 為你在 Anthropic 獲得的 API 密鑰。
4. 啟動服務：

npm start

💻 使用示例

基礎用法

示例：抓取並分析網頁內容

curl -X POST http://localhost:3000/api/crawl \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com",
    "depth": 1,
    "aiProcessing": {
      "task": "summarize"
    }
  }'

高級用法

用例 1：抓取並生成網頁摘要

curl -X POST http://localhost:3000/api/crawl \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/blog/post",
    "depth": 2,
    "aiProcessing": {
      "task": "summarize",
      "options": {
        "length": "short"
      }
    }
  }'

用例 2：抓取並識別網頁主題

curl -X POST http://localhost:3000/api/crawl \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/product",
    "depth": 1,
    "aiProcessing": {
      "task": "classify",
      "model": "content_classifier"
    }
  }'

📚 詳細文檔

配置選項

• PORT：服務器監聽的端口，默認為 3000。
• ANTHROPIC_API_KEY：Anthropic 提供的人工智能 API 訪問密鑰。
• DEBUG：設置為 "true" 可以啟用調試日誌輸出。

📄 許可證

本項目採用 MIT 許可證。

👏 致謝

該項目使用以下優秀庫：

• Express：高效的 Web 應用框架。
• Puppeteer：強大的瀏覽器自動化工具。
• Cheerio：快速的 HTML 操縱庫。
• Winston：靈活的日誌記錄解決方案。
• @anthropic-ai/sdk：Anthropic 的人工智能開發工具包。