MCP Server Firecrawl

🚀 Firecrawl MCP サーバ

Firecrawl MCP サーバは、Firecrawl API を使用した、ネットワーククローリング、コンテンツ検索、ウェブサイトスクレイピング、データ抽出を行うためのモデルコンテキストプロトコル（MCP）サーバです。

✨ 主な機能

• ウェブページのスクレイピング：任意のウェブページからコンテンツを抽出し、カスタムオプションをサポートします。

  • モバイルデバイスのシミュレーション
  • 広告とポップアップウィンドウのブロック
  • コンテンツフィルタリング
  • 構造化データの抽出
  • 複数の出力形式

• コンテンツ検索：高度な検索機能を備えています。

  • 多言語対応
  • 位置ベースの検索結果
  • カスタム検索結果の制限
  • 構造化された出力形式

• ウェブサイトのクローリング：高度なネットワーククローリング機能を提供します。

  • クローリングの深さの制御
  • パスフィルタリング
  • レート制限
  • 進捗状況の追跡
  • サイトマップの統合

• ウェブサイトのマッピング：ウェブサイトの構造図を生成します。

  • サブドメインのサポート
  • 検索フィルタリング
  • リンク分析
  • 可視化された階層構造

• データ抽出：複数の URL から構造化データを抽出します。

  • 構造の検証
  • バッチ処理
  • ウェブサイト検索の強化
  • カスタム抽出の指示

📦 インストール

# グローバルインストール
npm install -g @modelcontextprotocol/mcp-server-firecrawl

# プロジェクトローカルインストール
npm install @modelcontextprotocol/mcp-server-firecrawl

🚀 クイックスタート

1. API キーの取得：Firecrawl 公式ウェブサイト にアクセスし、登録して API キーを取得します。
2. 環境変数の設定：

   export FIRECRAWL_API_KEY='your_api_key_here'
   

3. サーバのインストールと起動：

   npm install @modelcontextprotocol/mcp-server-firecrawl
   node index.js
   

📚 ドキュメント

Claude Desktop App の統合

config.json ファイルに以下の内容を追加して、Firecrawl を統合します。

{
  "firecrawl": {
    "apiKey": "your_api_key_here",
    "baseUrl": "https://api.firecrawl.com"
  }
}

VSCode 拡張機能の統合

拡張機能の設定ファイルに以下のコードを追加します。

import { fireCrawlSettings } from '@modelcontextprotocol/mcp-server-firecrawl';
fireCrawlSettings.apiKey = 'your_api_key_here';

💻 使用例

基本的なスクレイピング

const fireCrawl = require('@modelcontextprotocol/mcp-server-firecrawl');

async function basicScrape() {
  try {
    const result = await fireCrawl.scrape('https://example.com');
    console.log(result);
  } catch (error) {
    console.error(error.message);
  }
}

basicScrape();

クローリングとマッピング

const fireCrawl = require('@modelcontextprotocol/mcp-server-firecrawl');

async function crawlAndMap() {
  try {
    const crawlResult = await fireCrawl.crawl('https://example.com');
    const mapResult = await fireCrawl.map(crawlResult.urls);
    console.log(mapResult);
  } catch (error) {
    console.error(error.message);
  }
}

crawlAndMap();

🔧 技術詳細

• エラー処理：このサーバは堅牢なエラー処理を実装しています。

  • 指数関数的なバックオフを伴うレート制限
  • 自動リトライ
  • 詳細なエラーメッセージ
  • デバッグログ

• セキュリティ：

  • API キーの保護
  • リクエストの検証
  • 許可リスト
  • レート制限
  • 安全なエラーメッセージ

🔨 開発

# 依存関係のインストール
npm install

# ビルド
npm run build

# テストの実行
npm test

# 開発モードで起動
npm run dev

📄 サンプル

examples ディレクトリに、さらなる使用例があります。

• 基本的なスクレイピング：scrape.ts
• クローリングとマッピング：crawl-and-map.ts

🤝 コントリビューション

貢献ガイドについては、CONTRIBUTING.md を参照してください。

📄 ライセンス

MIT ライセンス - 詳細については、LICENSE を参照してください。