Firecrawl MCP Server

🚀 火焰爬虫システム（Firecrawl）

火焰爬虫システムは、強力な機能を備えたウェブクローラーツールです。深層ウェブのクローリング、スマートなデータ抽出、自動化タスクの実行をサポートしています。このシステムはモジュール化アーキテクチャで設計されており、高い拡張性と柔軟性を持ち、様々な複雑なネットワークアプリケーションシーンに適しています。

✨ 主な機能

1. ウェブクローリングと監視（Web Crawl & Monitoring）

• 深層ウェブクローリング：マルチスレッドの並行クローリングをサポートし、柔軟な設定が可能で、さまざまなウェブサイト構造に対応できます。
• ウェブページの変更検出：対象のウェブページを継続的に監視し、内容の更新や変更をすぐに検出します。
• ネットワークトラフィック分析：リアルタイムでネットワーク状態を監視し、異常なトラフィックや潜在的なセキュリティ脅威を識別します。

2. データ処理と分析（Data Processing & Analysis）

• データクリーニング：自動的に冗長な情報を削除し、データの質を向上させます。
• パターン認識：機械学習アルゴリズムを使用して、隠れたデータの関連性や傾向を発見します。
• ログマイニング：システムログを解析し、価値のある情報や行動パターンを抽出します。

3. 自動化タスク実行（Automation & Task Execution）

• 定期タスクスケジューリング：定期的なタスクを設定し、クローリングや分析などの操作を自動的に実行します。
• ルールエンジン：事前に設定した条件に基づいて自動化操作をトリガーし、インテリジェントなビジネスプロセス管理を実現します。
• 異常処理メカニズム：ネットワークエラーや反クローリングメカニズムに遭遇した場合、システムは自動的に再試行または戦略を調整します。

📦 インストール

インストールと設定（Installation & Configuration）

1. 依存関係のインストール：

   npm install firecrawl
   

2. 設定ファイルの初期化：

   firecraw init
   

3. サービスの起動：

   node app.js
   

💻 使用例

基本的なウェブクローリング（Basic Web Crawl）

const FireCrawler = require('firecrawl');

async function basicCrawl() {
    try {
        const crawler = new FireCrawler();
        const response = await crawler.goto('http://example.com');
        console.log(response.status);
        console.log(response.html);
    } catch (error) {
        console.error('クローリング中にエラーが発生しました:', error.message);
    }
}

basicCrawl();

深層ウェブクローリング（Deep Web Crawl）

const FireCrawler = require('firecrawl');

async function deepCrawl() {
    try {
        const crawler = new FireCrawler();
        await crawler.start({
            startUrls: ['http://example.com/'],
            maxDepth: 5,
            concurrency: 10
        });
        console.log('クローリング完了、取得したページ数:', crawler.totalPages);
    } catch (error) {
        console.error('深層クローリング中にエラーが発生しました:', error.message);
    }
}

deepCrawl();

ウェブページの内容抽出（Content Extraction）

const FireCrawler = require('firecrawl');

async function contentExtraction() {
    try {
        const crawler = new FireCrawler();
        const response = await crawler.goto('http://example.com');
        const extractedData = crawler.extract({
            rules: [
                { selector: 'h1', attribute: 'text' },
                { selector: '.price', attribute: 'text' }
            ]
        });
        console.log('抽出したデータ:', extractedData);
    } catch (error) {
        console.error('内容抽出中にエラーが発生しました:', error.message);
    }
}

contentExtraction();

📚 ドキュメント

設定オプション

ネットワークリクエスト設定（HTTP Request Settings）

{
  "proxy": {
    "enabled": true,
    "host": "127.0.0.1",
    "port": 8080
  },
  "headers": {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.113 Safari/537.3",
    "Accept-Language": "zh-CN,zh;q=0.9"
  },
  "timeout": {
    "connect": 10000,
    "read": 10000
  }
}

データストレージ設定（Data Storage Settings）

{
  "database": {
    "type": "mysql",
    "host": "localhost",
    "port": 3306,
    "username": "root",
    "password": "password"
  },
  "filesystem": {
    "enabled": true,
    "directory": "/var/www/html/data/",
    "gzip": true
  }
}

ログ設定（Logging Settings）

{
  "log_level": "INFO",
  "log_file": "/var/log/firecrawl.log",
  "console_logging": true,
  "file_logging": true,
  "retention_days": 30
}

システムログ例

実行ログ（Runtime Logs）

INFO: システムが正常に起動しました、バージョン番号：1.0.0
INFO: クローラータスクを開始します、ターゲットURL：http://example.com
DEBUG: 現在のスレッド数：4
WARNING: 反クローリングメカニズムを検出しました、戦略を調整中...
ERROR: ターゲットサーバーに接続できません、再試行中...
SUCCESS: ページを正常に取得しました、ステータスコード：200
INFO: クローラータスクが完了しました、取得したページ数：100

エラーログ（Error Logs）

ERROR: リクエスト中にタイムアウトエラーが発生しました
ERROR: 無効なHTTPレスポンスヘッダー情報です
FATAL: データベースに接続できません、データを保存できません

ネットワークトラフィック分析例

基本統計（Basic Statistics）

応答時間分布（Response Time Distribution）

応答時間 (ms) 範囲   | パーセント
--------------------|----------
< 100              | 70%
100-200            | 25%
> 200              | 5%

拡張開発（Extension Development）

• プラグインメカニズム：システムはカスタムプラグインをサポートし、開発者が機能モジュールを拡張できます。
• フック関数：さまざまなフックインターフェースを提供し、特定の段階でカスタムロジックを挿入しやすくします。
• データプロセッサ：データ処理フローをカスタマイズでき、さまざまなビジネスニーズに対応できます。

エラー処理とデバッグ（Error Handling & Debugging）

一般的なエラーと解決策

1. 接続タイムアウト

   • ネットワーク設定を確認する
   • タイムアウト設定を調整する

   crawler.config.timeout = 30000;
   

2. 反クローリングメカニズムがトリガーされた

   • リクエストヘッダー情報を変更する
   • プロキシサーバーを使用する

   crawler.useProxy();
   

3. データベース接続失敗

   • データベースの状態を確認する
   • 認証情報を確認する

   db.connect().catch(err => console.error('データベース接続エラー:', err));
   

問題解決（Troubleshooting）

1. システム起動失敗

   • 依存関係が正しくインストールされていることを確認する
   • 起動ログを確認し、具体的なエラー情報を探す

2. データ抽出が不完全

   • 抽出ルールが正しく設定されていることを確認する
   • リクエストをシミュレートし、ページ構造に変更がないか確認する

3. パフォーマンスのボトルネック

   • システム負荷を分析し、ボトルネックの部分を特定する
   • データベースクエリの効率を最適化する
   • サーバーリソースを増やす

パフォーマンスチューニング（Performance Tuning）

1. スレッドプール設定

   crawler.config.concurrency = 50;
   

2. キャッシュ戦略の調整

   crawler.useCache(true);
   

3. データベースの最適化

   • インデックスの最適化
   • クエリオプティマイザーの調整

セキュリティに関する注意事項（Security Considerations）

1. DDoS攻撃の防止

   • 並行接続数を制限する
   • レート制限を実施する

2. データ保護

   • データを暗号化して転送する
   • 定期的にデータをバックアップする

3. 権限管理

   • ユーザー権限を最小化する
   • アクセスログを定期的にレビューする

更新履歴（Release Notes）

バージョン 1.0.0 (2023-10-10)

• 基本機能モジュールを含む初期バージョンがリリースされました。
• Webインターフェースとコマンドラインツールが提供されます。

バージョン 1.1.0 (2023-10-25)

• ネットワーク層の監視機能が追加されました。
• データ抽出のパフォーマンスが最適化され、効率が30%向上しました。
• いくつかの既知の重大なエラーが修正されました。

バージョン 1.2.0 (2023-11-10)

• 複数のデータベースバックエンド（MySQL、PostgreSQL）がサポートされます。
• ログ分析モジュールが追加されました。
• システムの安定性が向上し、クラッシュ率が低下しました。

連絡先（Contact Information）

• 公式ウェブサイト：https://firecrawl.com
• メールサポート：support@fire

システムアーキテクチャ図

+-------------------+       +-------------------+
|                   |       |                   |
|     ユーザー          |       |     データベース         |
|     (Web UI)      |       |     (MySQL/PostgreSQL)|
|                   |       |                   |
+-------------------+       +-------------------+
          ||                         ||
          ||                         ||
+--------+||+---------+        +-----+||+-------+
|  Web   |++| ネットワーク層  |        | ログ |++| データベース|
| Server |   |         |        | ストレージ |     |
+--------+   +---------+        +-----+
          ||                         ||
          ||                         ||
+--------+||+---------+        +-----+||+-------+
| コントローラー |++| リクエスト処理|        | 監視 |++| 分析モジュール|
| Module |   |         |        | システム |     |
+--------+   +---------+        +-----+

データフロー図

開始 -> 設定解析 -> コンポーネント初期化 -> タスク実行 -> データ処理 -> 結果保存 -> 終了

📄 ライセンス

火焰爬虫システムはMITオープンソースライセンスに準拠しており、ユーザーはこのソフトウェアを自由に使用、変更、配布することができます。詳細なライセンス条項は、ソフトウェアに同梱されているLICENSEファイルを参照してください。