Firecrawl MCP Server 6kk

🚀 FireCrawl

FireCrawlは、大規模言語モデルに基づくインテリジェントなウェブクローラーおよびコンテンツ処理プラットフォームです。先進的なAI技術と効率的なウェブデータ収集機能を統合し、ユーザーがインターネットから情報を取得、解析、分析するのを支援します。

🚀 クイックスタート

FireCrawlは、大規模言語モデルに基づくインテリジェントなウェブクローラーおよびコンテンツ処理プラットフォームです。このプラットフォームは、先進的なAI技術と効率的なウェブデータ収集機能を統合し、ユーザーがインターネットから情報を取得、解析、分析するのを支援します。

✨ 主な機能

• インテリジェントなクローリング：AI理解と従来のクローラー技術を組み合わせて、効率的かつインテリジェントなウェブページの収集を実現します。
• コンテンツ解析：大規模言語モデルを利用して、収集したコンテンツの深い理解と意味解析を行います。
• 自動化処理：データ収集から結果生成までのワンストップソリューションを提供します。

📦 インストール

# 依存関係のインストール
npm install

# プロジェクトのビルド
npm run build

# テストの実行
npm test

💻 使用例

基本的な使用法

1. ウェブページクローリングツール (firecrawler)

# サンプル使用法
python firecrawler.py --url https://example.com --depth 2

2. テキスト解析ツール (llm_parser)

# サンプル使用法
python llm_parser.py --file parsed.html --model gpt-4

高度な使用法

深度ネットワーク研究ツール (firecrawler_deep_search)

{
  "name": "firecrawler_deep_search",
  "arguments": {
    "query": "量子計算の基本原理は何ですか？", 
    "maxDepth": 3,
    "timeLimit": 60,
    "maxUrls": 50
  }
}

パラメータの説明：

• query：必須で、検索キーワードまたは質問です。
• maxDepth：オプションで、デフォルトは2で、クローリングの深さ制限です。
• timeLimit：オプションで、デフォルトは30秒で、時間制限です。
• maxUrls：オプションで、デフォルトは50で、収集するURLの数の上限です。

返される結果：

{
  "summary": "量子計算は、量子ビットに基づく並列計算方式です...", 
  "sources": ["https://quantum.com/1", ...],
  "resultsCount": 3456
}

📚 ドキュメント

機能モジュール

1. ウェブページクローリングツール (firecrawler)

主な特徴：

• マルチスレッド/マルチプロセスによる高速化をサポート
• インテリジェントな反クローリング対策
• 柔軟なクローリング戦略の設定

2. テキスト解析ツール (llm_parser)

機能特性：

• 多言語サポート
• ドキュメントの理解と構造化
• 自然言語処理

ログシステム

ログ記録

• 操作状態と進行状況
• パフォーマンス指標
• クォータ使用状況
• レート制限の追跡
• エラー条件

サンプルログ情報：

[INFO] FireCrawlサービスが正常に起動しました
[WARNING] APIクォータがすぐに使い果たされます
[ERROR] ネットワーク要求がタイムアウトしました。再試行中...

エラー処理メカニズム

処理戦略：

• 一時的なエラーの自動再試行
• インテリジェントなレート制限回避
• 詳細なエラー情報の報告
• クォータ使用警告
• ネットワークの変動への適応

サンプルエラー応答：

{
  "content": [
    {
      "type": "text",
      "text": "エラー：APIクォータが使い果たされました。30秒待ってから再試行してください..."
    }
  ],
  "isError": true
}

貢献方法

1. コードリポジトリをForkする
2. 機能ブランチを作成する
3. テストを実行する：npm test
4. Pull Requestを提出する

📄 ライセンス

このプロジェクトはMIT Licenseの下でライセンスされています。詳細については、ライセンスファイルを参照してください。

FireCrawlの詳細については、公式ウェブサイトを訪問するか、Githubリポジトリをフォローしてください。