Mendableai Firecrawl MCP Server

🚀 火蜥蜴网络爬虫システム

火蜥蜴网络爬虫システムは、効率的なウェブデータ収集を可能にするツールです。多様なコンポーネントを備え、柔軟な設定と高度な機能を提供します。

🚀 クイックスタート

📦 インストール

# npmを使用して火蜥蜴MCPサーバーをインストール
npm install fire-crawl-mcp-server

# ソースコードリポジトリをクローン（オプション）
git clone https://github.com/your-repository.git
cd your-repository

設定ファイルの例 (config.json)

{
  "fireCrawl": {
    "apiKey": "your_api_key_here", // 必須：火蜥蜴APIキー
    "proxySettings": { // オプション：プロキシ設定
      "enabled": false, // プロキシを有効にするかどうか
      "host": "", // プロキシサーバーのアドレス
      "port": "" // プロキシサーバーのポート
    },
    "logging": { // ログ設定
      "level": "INFO", // ログレベル：DEBUG、INFO、WARNING、ERROR、CRITICAL
      "outputFile": "./fire_crawl.log" // ログファイルのパス
    }
  }
}

✨ 主な機能

ウェブクローラーツール

• 名称：火蜥蜴クローラー
• 機能：指定されたURLからウェブページを収集し、マルチスレッドでの高速化と深さ優先クローリングをサポートします。
• 設定パラメータ：
  • url: 必須、クローリングの開始アドレス
  • maxDepth: オプション、デフォルトは3、クローリングの最大深度
  • limit: オプション、デフォルトは50、収集するウェブページの最大数

バッチ処理ツール

• 名称：火蜥蜴バッチ処理
• 機能：複数のクローリングタスクを一度に送信し、一意のIDで処理状態を確認できます。
• 操作手順：
  1. バッチ処理タスクを送信
  2. 操作IDを取得
  3. 定期的に処理進捗を確認

状態確認ツール

• 名称：火蜥蜴状態確認
• 機能：提供された操作IDを使用して、現在のバッチ処理タスクの実行状況と結果を確認します。

🔧 技術詳細

ログシステム

• ログレベル：
  • DEBUG: 詳細なデバッグ情報を記録
  • INFO: システムの実行状態
  • WARNING: 機能に影響を与える可能性のある警告
  • ERROR: 既知のエラーを記録
  • CRITICAL: 深刻な問題、サービスの中断を引き起こす可能性があります

エラー処理メカニズム

• リトライポリシー：
  • レート制限を検出した場合、自動的に待機してリトライします
  • 最大リトライ回数：5回
  • リトライ間隔：2秒から10秒の間でランダム

📚 ドキュメント

開発ガイド

# プロジェクトの依存関係をインストール
npm install

# 本番環境用のパッケージをビルド
npm run build

# 単体テストを実行
npm test

貢献方法

1. コードリポジトリをフォーク
2. 機能ブランチを作成
3. コードの変更をコミット
4. Pull Requestを送信

📄 ライセンス

• ライセンスの種類：MIT License
• 著作権情報：© 2023 火蜥蜴チーム