Mendableai Firecrawl MCP Server

🚀 火蜥蜴網絡爬蟲系統

火蜥蜴網絡爬蟲系統是一套功能強大的爬蟲工具，支持網頁抓取、批處理任務和狀態檢查等功能。通過簡單的配置和安裝，即可快速搭建並使用。

🚀 快速開始

安裝

# 使用 npm 安裝火蜥蜴 MCP 服務器
npm install fire-crawl-mcp-server

# 克隆源碼倉庫（可選）
git clone https://github.com/your-repository.git
cd your-repository

配置文件示例 (config.json)

{
  "fireCrawl": {
    "apiKey": "your_api_key_here", // 必填：火蜥蜴 API 密鑰
    "proxySettings": { // 可選：代理配置
      "enabled": false, // 是否啟用代理
      "host": "", // 代理服務器地址
      "port": "" // 代理服務器端口
    },
    "logging": { // 日誌設置
      "level": "INFO", // 日誌級別：DEBUG、INFO、WARNING、ERROR、CRITICAL
      "outputFile": "./fire_crawl.log" // 日誌文件路徑
    }
  }
}

✨ 主要特性

網頁爬蟲工具

• 名稱：火蜥蜴爬蟲
• 功能：從指定 URL 開始進行網頁抓取，支持多線程加速和深度優先爬取。
• 配置參數：
  • url: 必填，起始爬取地址
  • maxDepth: 可選，默認為 3，爬取的最大深度
  • limit: 可選，默認為 50，抓取的網頁數量上限

批處理工具

• 名稱：火蜥蜴批處理
• 功能：支持一次性提交多條爬取任務，並可通過唯一 ID 查看處理狀態。
• 操作流程：
  1. 提交批處理任務
  2. 獲取操作 ID
  3. 定期查詢處理進度

狀態檢查工具

• 名稱：火蜥蜴狀態檢查
• 功能：通過提供的操作 ID 查看當前批處理任務的執行情況和結果。

🔧 技術細節

日誌系統

• 日誌級別：
  • DEBUG: 記錄詳細調試信息
  • INFO: 系統運行狀態
  • WARNING: 可能影響功能的警告
  • ERROR: 已知錯誤記錄
  • CRITICAL: 嚴重問題，可能導致服務中斷

錯誤處理機制

• 重試策略：
  • 檢測到限流時自動等待並重試
  • 最大重試次數：5次
  • 重試間隔：2秒至10秒之間隨機

📚 詳細文檔

開發指南

# 安裝項目依賴
npm install

# 構建生產環境包
npm run build

# 運行單元測試
npm test

貢獻方式

1. ** fork 代碼倉庫
2. ** 創建功能分支
3. ** 提交代碼修改
4. ** 提交Pull Request

📄 許可證

• 許可證類型：MIT License
• 版權信息：© 2023 火蜥蜴團隊