Crawl4ai MCP Server Rln

🚀 Crawl4ai MCP 服務器

Crawl4ai MCP 服務器是一個具備網絡爬取功能的服務器，它藉助 crawl4ai 工具，能夠以 Markdown 格式將爬取結果輸出給大語言模型，為信息獲取和處理提供了便利。

🚀 快速開始

Crawl4ai MCP 服務器可助力你輕鬆實現網頁內容的爬取，並以 Markdown 格式輸出，為大語言模型提供優質數據。

📦 安裝指南

先決條件

• Node.js
• 可訪問 crawl4ai 實例：https://docs.crawl4ai.com/core/docker-deployment/

設置步驟

1. 克隆倉庫：

git clone https://github.com/Kirill812/crawl4ai-mcp-server.git
cd crawl4ai-mcp-server

2. 安裝依賴項：

npm install

3. 構建服務器：

npm run build

4. 添加服務器配置到環境變量：

{
  "mcpServers": {
    "crawl4ai": {
      "command": "node",
      "args": [
        "/path/to/crawl4ai-mcp-server/build/index.js"
      ],
      "env": {
        "CRAWL4AI_API_URL": "http://127.0.0.1:11235",  // 可選：crawl4ai API 服務的 URL
        "CRAWL4AI_AUTH_TOKEN": "your-auth-token"       // 可選：如果需要身份驗證
      }
    }
  }
}

請將環境變量替換為你自己的值：

• CRAWL4AI_API_URL：crawl4ai API 服務的 URL（可選）
• CRAWL4AI_AUTH_TOKEN：API 的身份驗證令牌（可選）

✨ 主要特性

工具

• crawl_urls - 爬取網頁並獲取帶有引用的 Markdown 內容
  • 參數：
    • urls（必需）：要爬取的 URL 列表

響應格式

該工具會返回每個 URL 的 Markdown 內容及其引用，多個 URL 之間用水平線分隔（---）。示例如下：

這是第一個 URL 的內容 [^1]

[^1]: https://example.com

---

這是第二個 URL 的內容 [^2]

[^2]: https://example.org

💻 使用示例

基礎用法

# 假設已經完成安裝和配置
# 調用 crawl_urls 工具爬取網頁
# 這裡的 urls 參數需要替換為實際要爬取的 URL 列表
# 例如：["https://example.com", "https://example.org"]

🔧 技術細節

開發

若要進行開發並使用自動重建功能，可執行以下命令：

npm run watch

錯誤處理

常見問題及解決方案如下：

1. 確保 URL 有效且可訪問。
2. 如果需要身份驗證，請確保令牌有效。
3. 檢查到 crawl4ai API 服務的網絡連接。
4. 遇到超時錯誤，嘗試減少每次請求中的 URL 數量。
5. 如果被網站攔截，服務會自動重試並使用不同的用戶代理。

📄 許可證

此 MCP 服務器根據 MIT License 分發。這意味著你可以自由地使用、修改和分發軟件，但需遵守 MIT License 的條款和條件。更多詳細信息，請參見項目存儲庫中的 LICENSE 文件。