Vrknetha MCP Server Firecrawl

🚀 FireCrawl MCP 服務器

FireCrawl MCP 服務器是一個與 FireCrawl 集成的 Model Context Protocol (MCP) 服務器實現，主要用於高級網絡爬蟲功能，能從各類網站高效提取所需內容。

🚀 快速開始

要使用 FireCrawl MCP 服務器，您需要先完成安裝和配置，具體步驟如下：

npm install mcp-server-firecrawl

獲取 API 密鑰

1. 在 FireCrawl 賬戶 上註冊。
2. 從儀表盤生成您的 API 密鑰。
3. 將 API 密鑰設置在環境變量中。

使用 Claude Desktop

將以下內容添加到 claude_desktop_config.json：

{
  "mcpServers": {
    "mcp-server-firecrawl": {
      "command": "npx",
      "args": ["-y", "mcp-server-firecrawl"],
      "env": {
        "FIRE_CRAWL_API_KEY": "YOUR_API_KEY_HERE"
      }
    }
  }
}

✨ 主要特性

• JavaScript 渲染：可從 JavaScript 富網站中提取內容。
• 移動/桌面視圖：支持不同的視口配置。
• 智能速率限制：內置速率限制處理。
• 多種格式：支持 HTML、Markdown、截圖和純文本提取。
• 批量處理：能高效處理多個 URL。
• 內容過濾：可包含或排除特定 HTML 標籤。

📦 安裝指南

npm install mcp-server-firecrawl

💻 使用示例

基礎用法

fire_crawl_scrape

從單個 URL 爬取內容，帶有自定義選項。

# 示例代碼，根據實際情況修改參數
npx mcp-server-firecrawl fire_crawl_scrape --url "https://example.com" --formats "markdown"

fire_crawl_batch

啟動多個 URL 的批量爬取作業。

# 示例代碼，根據實際情況修改參數
npx mcp-server-firecrawl fire_crawl_batch --urls ["https://example1.com", "https://example2.com"] --formats "markdown"

fire_crawl_status

檢查批量爬取作業的狀態。

# 示例代碼，根據實際情況修改參數
npx mcp-server-firecrawl fire_crawl_status --id "batch_job_id"

高級用法

在實際使用中，您可以根據需要組合各種參數，以實現更復雜的爬取需求。例如，在 fire_crawl_scrape 中使用更多選項：

npx mcp-server-firecrawl fire_crawl_scrape --url "https://example.com" --formats "markdown" --waitFor 5000 --onlyMainContent true --includeTags ["p", "h1"] --excludeTags ["script"] --mobile true --skipTlsVerification true

📚 詳細文檔

工具說明

fire_crawl_scrape

從單個 URL 爬取內容，帶有自定義選項。

• 輸入：
  • url (字符串)：要爬取的目標 URL。
  • formats (數組)：輸出格式 (markdown, html, rawHtml, screenshot, links, screenshot@fullPage, extract)。
  • waitFor (數字，可選)：等待時間（以毫秒為單位）。
  • onlyMainContent (布爾值，可選)：僅提取主要內容。
  • includeTags (數組，可選)：要特別包含的 HTML 標籤。
  • excludeTags (數組，可選)：要排除的 HTML 標籤。
  • mobile (布爾值，可選)：使用移動視圖。
  • skipTlsVerification (布爾值，可選)：跳過 TLS 驗證。

fire_crawl_batch

啟動多個 URL 的批量爬取作業。

• 輸入：
  • urls (數組)：要爬取的 URL 列表。
  • formats (數組)：輸出格式（與單個爬取相同）。
  • 其他選項與 fire_crawl_scrape 相同。

fire_crawl_status

檢查批量爬取作業的狀態。

• 輸入：
  • id (字符串)：要檢查的批處理作業 ID。

開發

# 安裝依賴項
npm install

# 構建
npm run build

# 運行測試
npm test

速率限制

• 免費層：每分鐘 3 次請求。
• 達到速率限制後等待 25 秒冷卻時間。
• 更高的限制在付費計劃中可用。

📄 許可證

本項目採用 MIT 許可證，有關詳細信息，請參閱 LICENSE 文件。