Crawl4ai MCP Server

🚀 Crawl4AI MCP 服務器

Crawl4AI MCP 服務器是一個基於 MCP（模型上下文協議）的智能信息獲取服務器。它為 AI 助手系統賦予強大的搜索能力，同時具備面向大語言模型優化的網頁內容理解功能。通過多引擎搜索與智能內容提取，能助力 AI 系統高效獲取並理解互聯網信息，且支持以 markdown_with_citations 格式輸出，方便大語言模型引用與處理。

🚀 快速開始

本服務器能為 AI 系統提供高效的信息獲取與理解能力。你可按以下步驟進行安裝與使用。

✨ 主要特性

• 多引擎搜索：默認集成 DuckDuckGo 搜索引擎，還支持擴展 Google 搜索（需配置）。
• LLM 優化內容提取：專為大語言模型設計內容過濾與提取機制，自動去除導航欄、廣告等無用信息，保留關鍵內容和 URL 引用。
• 專注信息價值：通過最小詞數閾值（10）過濾無效片段，確保輸出內容高質量、高相關。

📦 安裝指南

常規安裝

# 創建虛擬環境並激活
python -m venv env
source env/bin/activate  # 在macOS/Linux下
env\Scripts\activate      # 在Windows下

# 安裝依賴項
pip install -r requirements.txt

# 配置服務器
cp config_demo.json config.json

# 啟動服務器
python src/index.py

Claude 客戶端插件安裝

# 使用smithery CLI安裝到Claude Sonnet 3.5
smithery plugin install @weidwonder/crawl4ai-mcp-server --development

💻 使用示例

基礎用法

搜索功能（search）

示例請求：

curl -X POST "http://localhost:8000/api/search" \
     -H "Content-Type: application/json" \
     -d '{"query":"AI技術發展歷史","gl":null,"hl":null}'

輸出格式：

• 支持 markdown_with_citations 和 plaintext 兩種格式，默認為 markdown_with_citations。
• 每個結果包含標題、內容摘錄、原始 URL 和相關性評分。

內容提取與處理（read_url）

示例請求：

curl -X POST "http://localhost:8000/api/read_url" \
     -H "Content-Type: application/json" \
     -d '{"url":"https://example.com"}'

📚 詳細文檔

項目結構

crawl4ai_mcp_server/
├── src/
│   ├── index.py      # 服務器主實現
│   └── search.py     # 搜索功能實現
├── config_demo.json  # 配置文件示例
├── pyproject.toml    # 項目配置
├── requirements.txt  # 依賴列表
└── README.md         # 項目文檔

配置說明

1. 複製配置模板：

   cp config_demo.json config.json
   

2. 配置 Google 搜索（可選）：

   • 在config.json中添加以下內容：

     {
         "google": {
             "api_key": "your_google_api_key",
             "cse_id": "your_google_cse_id"
         }
     }
     

📄 更新日誌

• 2025.02.08：新增搜索功能，支持 DuckDuckGo（默認）和 Google 搜索。
• 2025.02.07：重構項目結構，採用 FastMCP 實現，優化依賴管理。
• 2025.02.07：優化內容過濾配置，提升 token 效率並保持 URL 完整性。

📄 許可證

本項目遵循 MIT License 協議。

🤝 貢獻指南

歡迎提交問題和 Pull Request！ GitHub 倉庫地址：https://github.com/weidwonder/crawl4ai-mcp-server

👨‍💻 作者信息

• 項目負責人：weidwonder
• 主要開發者：Claude Sonnet 3.5
  • 完全由 Claude 編寫代碼。耗時總計約 3 小時，其中編碼 0.5 小時，環境準備 0.5 小時，調試 2 小時。

🙏 致謝

感謝所有為項目貢獻力量的開發者！

特別鳴謝：

• Crawl4ai 項目提供的優秀網頁內容提取技術支持