Firecrawl 8mz

🚀 Firecrawl MCP 服務器

Firecrawl MCP（管理控制面板）服務器是一個集網頁抓取、日誌記錄和大語言模型（LLM）生成於一體的集成解決方案。它藉助命令行界面提供各類功能，支持智能爬蟲操作、深入研究、生成標準化文件（如llms.txt）、信用監控以及錯誤處理，為用戶提供了強大且全面的服務。

🚀 快速開始

配置

環境變量

使用以下環境變量來配置服務器：

示例配置

# 設置環境變量
export FIRECRAWL_API_KEY="your_api_key_here"

安裝依賴項

使用以下命令安裝所需依賴項：

pip install -r requirements.txt

運行服務器

啟動服務器之前，請確保已設置 FIRECRAWL_API_KEY 環境變量。然後運行以下命令：

python server.py

✨ 主要特性

爬蟲框架（firecrawl_crawler）

• 工具名稱：firecrawl_crawler
• 描述：用於從指定 URL 開始進行深度網頁抓取。
• 示例用法：

{
  "name": "firecrawl_crawler",
  "arguments": {
    "url": "https://example.com",
    "maxDepth": 3,
    "outputFormat": "json"
  }
}

• 參數：
  • url (字符串，必需)：爬取的起始 URL。
  • maxDepth (數字，可選)：爬取的最大深度，默認為 2。
  • outputFormat (字符串，可選)：輸出格式，可選值為 "json" 或 "xml"。
• 示例響應：

{
  "content": [
    {
      "type": "text",
      "text": "成功爬取 URL: https://example.com"
    }
  ],
  "isError": false
}

日誌系統

• 描述：提供全面的日誌記錄功能，包括操作狀態、性能指標、信用使用情況、速率限制以及錯誤條件。
• 示例日誌消息：

[INFO] FireCrawl MCP Server 已成功初始化
[INFO] 正在爬取 URL: https://example.com
[WARNING] 信用使用量已達到警告閾值
[ERROR] 速率限制已超過，2 秒後重試...

錯誤處理

• 描述：提供強大的錯誤處理功能，包括自動重試、速率限制處理、詳細錯誤消息、信用使用警告以及網絡彈性。
• 示例錯誤響應：

{
  "content": [
    {
      "type": "text",
      "text": "請求的參數無效"
    }
  ],
  "isError": true,
  "errorDetails": "參數格式不正確"
}

📦 安裝指南

環境變量配置

使用以下環境變量來配置服務器：

示例配置

# 設置環境變量
export FIRECRAWL_API_KEY="your_api_key_here"

依賴項安裝

使用以下命令安裝所需依賴項：

pip install -r requirements.txt

💻 使用示例

基礎用法

爬蟲框架使用

{
  "name": "firecrawl_crawler",
  "arguments": {
    "url": "https://example.com",
    "maxDepth": 3,
    "outputFormat": "json"
  }
}

📚 詳細文檔

開發指南

提交代碼

請按照以下步驟提交代碼：

1. 創建功能分支。
2. 提交您的更改。
3. 提交拉取請求到 main 分支。

遵守規範

• 遵循 PEP8 代碼風格指南。
• 確保單元測試覆蓋所有新功能。
• 在提交前檢查代碼質量。

鳴謝

感謝以下貢獻者：

• [Contributor Name] - 初始開發
• [Contributor Name] - 功能增強

📄 許可證

MIT License

版權 (c) 年份 作者名稱

允許任何人免費使用、複製、修改、合併、發佈和分發此軟件及其衍生作品，但需遵守以下條件：

1. 在分發的副本中保留所有版權聲明、許可聲明和本免責聲明。
2. 不對因使用此軟件而產生的任何責任承擔擔保。

對於因使用或無法使用此軟件而導致的任何形式的損害，包括但不限於直接或間接的損失或損壞，作者及其貢獻者均不承擔責任。