Msparihar MCP Server Firecrawl

🚀 Firecrawl MCP サーバー

Firecrawl API をベースにした、ウェブクローラー、コンテンツ検索、ウェブサイトのスクレイピング、データ抽出に使用できる Model Context Protocol (MCP) サーバーです。

✨ 主な機能

• ウェブクローラー：任意のウェブページからコンテンツを抽出し、カスタムオプションをサポートします。

  • モバイルデバイスのシミュレーション
  • 広告とポップアップのブロック
  • コンテンツのフィルタリング
  • 構造化データの抽出
  • 複数の出力形式

• コンテンツ検索：高度な検索機能を備えています。

  • 多言語対応
  • 位置ベースの検索結果
  • カスタム検索結果の制限
  • 構造化された出力形式

• ウェブサイトのスクレイピング：高度なウェブスクレイピング機能を提供します。

  • 深さの制御
  • パスのフィルタリング
  • レート制限
  • 進捗状況の追跡
  • サイトマップの統合

• ウェブサイトのマッピング：ウェブサイトの構造図を生成します。

  • サブドメインのサポート
  • 検索フィルター
  • リンク分析
  • ビジュアル階層分析

• データ抽出：複数の URL から構造化データを抽出します。

  • 検証スキーム
  • バッチ処理
  • ウェブサイト検索の強化
  • カスタム抽出指示

📦 インストール

# グローバルインストール
npm install -g @modelcontextprotocol/mcp-server-firecrawl

# プロジェクトローカルインストール
npm install @modelcontextprotocol/mcp-server-firecrawl

🚀 クイックスタート

1. 開発者ポータル から Firecrawl API キーを取得します。

2. 環境変数に API キーを設定します。

   export FIRECRAWL_API_KEY=your_api_key_here
   

3. 以下のサンプルから始めましょう。

   • 基本的なクローラー
   • クロールとマッピング

💻 使用例

基本的な使用法

import { FireCrawler } from '@modelcontextprotocol/mcp-server-firecrawl';

async function basicScrape() {
  const crawler = new FireCrawler({
    apiKey: 'your_api_key_here',
  });

  const result = await crawler.scrape('https://example.com');
  console.log(result);
}

basicScrape();

高度な使用法

import { FireCrawler } from '@modelcontextprotocol/mcp-server-firecrawl';

async function crawlAndMap() {
  const crawler = new FireCrawler({
    apiKey: 'your_api_key_here',
  });

  // ウェブサイトをクロールする
  const crawlResult = await crawler.crawl('https://example.com');
  console.log('クロール結果:', crawlResult);

  // サイトマップを生成する
  const mapResult = await crawler.createMap('example', ['https://example.com']);
  console.log('サイトマップ作成結果:', mapResult);
}

crawlAndMap();

🔧 技術詳細

エラー処理

サーバーは強力なエラー処理を実装しています。

• 指数バックオフ付きのレート制限
• 自動リトライ
• 詳細なエラーメッセージ
• デバッグログ記録

セキュリティ

• API キーの保護
• リクエストの検証
• ホワイトリスト
• レート制限
• セキュリティエラーメッセージ

開発

# 依存関係のインストール
npm install

# ビルド
npm run build

# テストの実行
npm test

# 開発モードで起動
npm run dev

サンプル

examples ディレクトリにあるさらなる使用例を参照してください。

• 基本的なクローラー：scrape.ts
• クロールとマッピング：crawl-and-map.ts

貢献

貢献ガイドについては CONTRIBUTING.md を参照してください。

📄 ライセンス

MIT ライセンス - 詳細については LICENSE を参照してください。