Msparihar MCP Server Firecrawl

🚀 Firecrawl MCP 服務器

Firecrawl MCP 服務器是一個基於 Firecrawl API 的強大工具，可用於網絡爬蟲、內容搜索、網站抓取和數據提取，能高效解決數據獲取和處理的難題，為開發者提供便捷的數據服務。

✨ 主要特性

• 網絡爬蟲：可從任意網頁中提取內容，支持一系列自定義選項，包括移動設備模擬、廣告和彈窗攔截、內容過濾、結構化數據提取以及多種輸出格式。
• 內容搜索：具備智能搜索功能，支持多語言，能提供基於位置的結果，可自定義結果限制，輸出結構化格式。
• 網站抓取：擁有高級網絡抓取功能，可進行深度控制、路徑過濾、速率限制、進度跟蹤，還能集成網站地圖。
• 網站映射：能夠生成網站結構圖，支持子域名，可進行搜索篩選、鏈接分析和視覺層次分析。
• 數據提取：可從多個 URL 中提取結構化數據，具備校驗方案、批處理功能，能增強網站搜索，支持自定義提取提示。

📦 安裝指南

# 全局安裝
npm install -g @modelcontextprotocol/mcp-server-firecrawl

# 項目本地安裝
npm install @modelcontextprotocol/mcp-server-firecrawl

🚀 快速開始

1. 在 開發者門戶 獲取您的 Firecrawl API 密鑰。
2. 在環境變量中設置 API 密鑰：

   export FIRECRAWL_API_KEY=your_api_key_here
   

3. 從以下示例開始：
   • 基本爬蟲
   • 爬取和映射

📚 詳細文檔

集成

安裝依賴

npm install @modelcontextprotocol/mcp-server-firecrawl

創建 MCP 服務器實例

import { FireCrawler } from '@modelcontextprotocol/mcp-server-firecrawl';

const crawler = new FireCrawler({
  apiKey: 'your_api_key_here',
});

// 啟動服務器
crawler.listen(3000, () => {
  console.log('Server is running on http://localhost:3000');
});

💻 使用示例

基礎用法

import { FireCrawler } from '@modelcontextprotocol/mcp-server-firecrawl';

async function basicScrape() {
  const crawler = new FireCrawler({
    apiKey: 'your_api_key_here',
  });

  const result = await crawler.scrape('https://example.com');
  console.log(result);
}

basicScrape();

高級用法

import { FireCrawler } from '@modelcontextprotocol/mcp-server-firecrawl';

async function crawlAndMap() {
  const crawler = new FireCrawler({
    apiKey: 'your_api_key_here',
  });

  // 爬取網站
  const crawlResult = await crawler.crawl('https://example.com');
  console.log('爬取結果:', crawlResult);

  // 生成網站地圖
  const mapResult = await crawler.createMap('example', ['https://example.com']);
  console.log('網站地圖創建結果:', mapResult);
}

crawlAndMap();

🔧 技術細節

錯誤處理

服務器實現了強大的錯誤處理機制，包括帶指數回退的速率限制、自動重試、詳細錯誤消息和調試日誌記錄。

安全

服務器具備一系列安全措施，如 API 密鑰保護、請求驗證、名單白列表、速率限制和安全錯誤消息。

開發

# 安裝依賴
npm install

# 構建
npm run build

# 運行測試
npm test

# 在開發模式下啟動
npm run dev

示例

查看 examples 目錄中的更多使用示例：

• 基本爬蟲：scrape.ts
• 爬取和映射：crawl-and-map.ts

📄 許可證

本項目採用 MIT License，查看 LICENSE 以獲取詳細信息。

貢獻

查看 CONTRIBUTING.md 瞭解貢獻指南。