Mcma123 Firecrawl MCP Server

🚀 FireCrawl プロジェクトドキュメント

FireCrawlは、オープンソースのウェブクローリングと情報抽出ツールです。このツールは、ウェブページの取得、コンテンツ解析、検索最適化などの様々な機能モジュールを備えており、さまざまなウェブデータ取得タスクに対応しています。

🚀 クイックスタート

FireCrawlを使用する前に、以下の手順でインストールとサービスの起動を行います。

📦 インストール

# リポジトリをクローンする
git clone https://github.com/yourusername/firecrawl.git

# プロジェクトディレクトリに移動する
cd firecrawl

# 依存関係をインストールする
npm install

# サービスを起動する
node index.js

✨ 主な機能

1. ウェブページ取得ツール (firecrawler_crawl)

非同期クローラーを起動し、ターゲットウェブページの内容を取得します。

{
  "name": "firecrawler_crawl",
  "arguments": {
    "url": "https://example.com", // クロールするURLアドレス
    "maxDepth": 2, // 最大クロール深度
    "limit": 100, // 単一ページで取得する最大リンク数
    "allowExternalLinks": false, // 外部リンクをクロールするかどうか
    "deduplicateSimilarUrls": true // 類似するURLを削除するかどうか
  }
}

2. コンテンツ抽出ツール (firecrawler_extract)

大規模言語モデル（LLM）を利用して、ウェブページから構造化情報を抽出します。

{
  "name": "firecrawler_extract",
  "arguments": {
    "urls": ["https://example.com/page1", "https://example.com/page2"], // 抽出するURLのリスト
    "prompt": "Extract product information including name, price, and description", // 抽出のプロンプト文
    "systemPrompt": "You are a helpful assistant that extracts product information", // システムプロンプト文
    "schema": { // 構造化データのスキーマ
      "type": "object",
      "properties": {
        "name": { "type": "string" },
        "price": { "type": "number" },
        "description": { "type": "string" }
      },
      "required": ["name", "price"]
    },
    "allowExternalLinks": false, // 外部リンクからの情報抽出を許可するかどうか
    "enableWebSearch": false, // ウェブ検索機能を有効にするかどうか
    "includeSubdomains": false // サブドメインを含めるかどうか
  }
}

抽出ツールのオプション

• urls: 抽出するURLのリスト
• prompt: カスタムプロンプト文
• systemPrompt: システムプロンプト文
• schema: JSONスキーマ、構造化データの抽出に使用
• allowExternalLinks: 外部リンクからの情報抽出を許可するかどうか
• enableWebSearch: ウェブ検索機能を有効にするかどうか
• includeSubdomains: サブドメインを含めるかどうか

3. 検索ツール (firecrawler_search)

ウェブ上で検索タスクを実行し、必要に応じて検索結果からコンテンツを抽出します。

{
  "name": "firecrawler_search",
  "arguments": {
    "query": "your search query", // 検索キーワード
    "limit": 5, // 結果の数の制限
    "lang": "en", // 検索言語
    "country": "us", // 検索地域の国コード
    "scrapeOptions": { // コンテンツ抽出オプション
      "formats": ["markdown"], // 抽出形式
      "onlyMainContent": true // メインのウェブページコンテンツのみを抽出するかどうか
    }
  }
}

4. ログと監視

FireCrawlは詳細なログ記録機能を提供し、クローラーの実行状態を監視しやすくしています。ログファイルはデフォルトで ./logs ディレクトリに保存されます。

# リアルタイムログを表示する
tail -f ./logs/crawler.log

5. エラー処理

システムにはエラー捕捉機構が組み込まれており、クロール中に発生した問題を自動的に記録し、エラーコードと簡単な説明を提供します。

一般的なエラーコード

• 403 Forbidden: ターゲットウェブサイトからのアクセスが拒否されました。
• 404 Not Found: 要求されたリソースが見つかりません。
• 503 Service Unavailable: サーバーが一時的に利用できません。
• CONNECTION_TIMEOUT: 接続がタイムアウトしました。
• PARSE_ERROR: コンテンツの解析に失敗しました。

🔧 設定オプション

ネットワークリクエスト設定

{
  "requestOptions": {
    "headers": { // リクエストヘッダー情報
      "User-Agent": "FireCrawler/1.0", // ブラウザアクセスを模倣する
      "Accept-Language": "zh-CN" // 中国語のコンテンツを受け入れる
    },
    "timeout": 30000, // 単一リクエストのタイムアウト時間（ミリ秒）
    "proxy": null // オプション、プロキシサーバー情報を設定する
  }
}

ストレージ設定

{
  "storageOptions": {
    "type": "filesystem", // サポートされるストレージタイプ：filesystem, database, s3
    "path": "./data", // ファイルシステムのストレージパス
    "dbConfig": null, // データベース接続情報（データベースを使用する場合）
    "awsS3Config": null // AWS S3ストレージ設定（クラウドストレージを使用する場合）
  }
}

🔍 ログシステム

FireCrawlは詳細なログ記録機能を提供し、複数のログレベルをサポートしています。

• DEBUG: デバッグ情報
• INFO: 正常な実行情報
• WARNING: 機能に影響を与える可能性のある警告情報
• ERROR: エラーが発生したときのログ
• CRITICAL: サービスが中断する重大なエラー

ログ形式

デフォルトのログ形式は次のとおりです。

[TIME] - [LEVEL] - [MODULE]: Message

🛠️ エラー処理メカニズム

システムにはエラー捕捉モジュールが組み込まれており、カスタムエラーハンドラーをサポートしています。デフォルトでは、エラー情報を記録し、クローラーの実行を一時停止します。

カスタムエラー処理の例

module.exports.errorHandler = function(err) {
  console.error('Custom error handler:', err);
  // オプション：追加のエラー処理ロジックを追加する
};

💻 開発と貢献

依存関係のインストール

git clone https://github.com/yourusername/firecrawl.git
cd firecrawl
npm install

サービスの起動

node index.js

コード提出の規則

1. 各コミットに明確なコミットメッセージを記述してください。
2. 単体テストが通過することを確認してください。
3. 関連するドキュメントを更新してください。

🤝 貢献ガイド

コミュニティからのコード貢献を歓迎します！以下の手順に従ってください。

1. プロジェクトリポジトリをForkします。
2. 自分のブランチで開発を行います。
3. Pull Requestを提出する前に、すべてのテストケースが通過することを確認します。
4. 更新されたドキュメントとコメントを追加します。

📄 ライセンス

FireCrawlはMITライセンスを使用しており、コードの自由な使用と変更を歓迎します。