Mcma123 Firecrawl MCP Server

🚀 FireCrawl 項目文檔

FireCrawl 是一款開源的網絡爬取與信息提取工具，具備網頁抓取、內容解析、搜索優化等多種功能模塊，能滿足各類網絡數據獲取需求。

🚀 快速開始

你可以按照以下步驟安裝並啟動 FireCrawl：

# 克隆倉庫
git clone https://github.com/yourusername/firecrawl.git

# 進入項目目錄
cd firecrawl

# 安裝依賴項
npm install

# 啟動服務
node index.js

✨ 主要特性

FireCrawl 提供了豐富的功能模塊，以下是各模塊的詳細介紹：

1. 網頁抓取工具 (firecrawler_crawl)

此工具可啟動一個異步爬蟲，用於獲取目標網頁的內容。

{
  "name": "firecrawler_crawl",
  "arguments": {
    "url": "https://example.com", // 需要爬取的URL地址
    "maxDepth": 2, // 最大爬取深度
    "limit": 100, // 單頁最大獲取鏈接數
    "allowExternalLinks": false, // 是否允許抓取外部鏈接
    "deduplicateSimilarUrls": true // 是否去除相似URL
  }
}

2. 內容提取工具 (firecrawler_extract)

該工具藉助大語言模型（LLM）從網頁中提取結構化信息。

{
  "name": "firecrawler_extract",
  "arguments": {
    "urls": ["https://example.com/page1", "https://example.com/page2"], // 需要提取的URL列表
    "prompt": "Extract product information including name, price, and description", // 提取提示語句
    "systemPrompt": "You are a helpful assistant that extracts product information", // 系統提示語
    "schema": { // 結構化數據模式
      "type": "object",
      "properties": {
        "name": { "type": "string" },
        "price": { "type": "number" },
        "description": { "type": "string" }
      },
      "required": ["name", "price"]
    },
    "allowExternalLinks": false, // 是否允許提取外部鏈接
    "enableWebSearch": false, // 是否啟用網絡搜索功能
    "includeSubdomains": false // 是否包含子域名
  }
}

提取工具選項

• urls：需要提取的URL列表
• prompt：自定義提示語句
• systemPrompt：系統提示語
• schema：JSON模式，用於結構化數據提取
• allowExternalLinks：是否允許從外部鏈接中提取信息
• enableWebSearch：是否啟用網絡搜索功能以獲取更多上下文信息
• includeSubdomains：是否包含子域名

3. 搜索工具 (firecrawler_search)

此工具可在網絡上執行搜索任務，並可選地從搜索結果中提取內容。

{
  "name": "firecrawler_search",
  "arguments": {
    "query": "your search query", // 搜索關鍵詞
    "limit": 5, // 結果數量限制
    "lang": "en", // 搜索語言
    "country": "us", // 搜索區域國家代碼
    "scrapeOptions": { // 內容提取選項
      "formats": ["markdown"], // 提取格式
      "onlyMainContent": true // 是否只提取主要網頁內容
    }
  }
}

4. 日誌與監控

FireCrawl 提供了詳細的日誌記錄功能，方便用戶監控爬蟲的運行狀態。日誌文件默認存儲在 ./logs 目錄下。

# 查看即時日誌
tail -f ./logs/crawler.log

5. 錯誤處理

系統內置錯誤捕捉機制，自動記錄爬取過程中遇到的問題，並提供錯誤代碼和簡要說明。

常見錯誤代碼

• 403 Forbidden：目標網站拒絕訪問
• 404 Not Found：請求資源不存在
• 503 Service Unavailable：服務器暫時不可用
• CONNECTION_TIMEOUT：連接超時
• PARSE_ERROR：內容解析失敗

📦 安裝指南

# 克隆倉庫
git clone https://github.com/yourusername/firecrawl.git

# 進入項目目錄
cd firecrawl

# 安裝依賴項
npm install

# 啟動服務
node index.js

📚 詳細文檔

配置選項

網絡請求配置

{
  "requestOptions": {
    "headers": { // 請求頭信息
      "User-Agent": "FireCrawler/1.0", // 模擬瀏覽器訪問
      "Accept-Language": "zh-CN" // 接受中文內容
    },
    "timeout": 30000, // 單個請求超時時間（毫秒）
    "proxy": null // 可選，設置代理服務器信息
  }
}

存儲配置

{
  "storageOptions": {
    "type": "filesystem", // 支持的存儲類型：filesystem, database, s3
    "path": "./data", // 文件系統存儲路徑
    "dbConfig": null, // 數據庫連接信息（如使用數據庫）
    "awsS3Config": null // AWS S3 存儲配置（如使用雲存儲）
  }
}

日誌系統

FireCrawl 提供詳細的日誌記錄功能，支持多種日誌級別：

• DEBUG：調試信息
• INFO：正常運行信息
• WARNING：可能影響功能的警告信息
• ERROR：出現錯誤時的日誌
• CRITICAL：嚴重錯誤導致服務中斷

日誌格式

默認日誌格式如下：

[TIME] - [LEVEL] - [MODULE]: Message

錯誤處理機制

系統內置錯誤捕捉模塊，支持自定義錯誤處理器。默認情況下，會記錄錯誤信息並暫停爬蟲運行。

自定義錯誤處理示例

module.exports.errorHandler = function(err) {
  console.error('Custom error handler:', err);
  // 可選：添加額外的錯誤處理邏輯
};

開發與貢獻

安裝依賴

git clone https://github.com/yourusername/firecrawl.git
cd firecrawl
npm install

啟動服務

node index.js

提交代碼規範

1. 為每個提交編寫清晰的提交信息。
2. 確保單元測試通過。
3. 更新相關的文檔。

貢獻指南

歡迎社區貢獻代碼！請遵循以下步驟：

1. Fork 項目倉庫。
2. 在自己的分支上進行開發。
3. 提交Pull Request前，確保所有測試用例通過。
4. 添加更新的文檔和註釋。

📄 許可證

FireCrawl 使用 MIT 許可證，歡迎自由使用和修改代碼。