Mult Fetch MCP Server

🚀 多スレッド抓取 - プロジェクトドキュメント

mult - fetch は多スレッドのウェブスクレイピングライブラリで、Node.jsとブラウザモードの切り替えをサポートしています。強力な設定オプションと拡張性を備え、複雑なウェブページのスクレイピングタスクに適しています。

🚀 クイックスタート

📦 インストール

npm install mult-fetch chrome-driver

💻 使用例

基本的な使用法

const fetch = require('mult-fetch');
 
// デフォルトの設定オブジェクトを作成
const defaultConfig = {
  // ブラウザモードを有効にするかどうか、デフォルトはfalse
  useBrowser: false,
  // 自動でモードを検出して切り替えるかどうか、デフォルトはtrue
  autoDetectMode: true,
  // ページの読み込みを待つタイムアウト時間、デフォルトは5000ms
  waitForTimeout: 5000,
  // プロキシ設定、優先順位は高い順に：
  proxy: {
    server: 'http://localhost:1080' // SOCKS5プロキシの例
  }
};

// インスタンスを作成
const fetcher = new fetch.MultiFetcher(defaultConfig);

// スクレイピングタスクを実行
fetcher.fetch('https://example.com', (err, resp, body) => {
  if (err) {
    console.error('[FETCH]', err.message);
    return;
  }

  // レスポンス内容を処理
  const $ = cheerio.load(body);
  // 記事内容を抽出
  const content = $('article').text();
  console.log('Content:', content);
});

✨ 主な機能

• 多スレッド実行：複数のスクレイピングスレッドを同時に起動できます。
• スマートなモード切り替え：デフォルトではNode.jsのfetchを使用し、失敗した場合は自動的にBrowserFetcher（Puppeteerベース）に切り替わります。
• 豊富な設定オプション：プロキシ、デバッグ、ブラウザ設定などの詳細な設定項目を提供します。
• 内容処理能力：組み込みの内容抽出機能があり、広告や不要な情報をフィルタリングできます。

📚 ドキュメント

設定オプション

ネットワーク設定

// プロキシの優先順位：
1. コマンドラインで指定されたプロキシ（ある場合）
2. リクエストで明示的に設定されたproxyパラメータ
3. useSystemProxyがtrueの場合、環境変数から取得
4. useSystemProxyがtrueの場合、git configの設定を読み取る

注意：proxyが明示的に設定された場合、useSystemProxyは自動的にfalseに設定されます。

ブラウザモード設定

// ブラウザ関連の設定：
{
  // 特定のセレクタが出現するのを待つかどうか、デフォルトは'body'
  waitForSelector: string | null,
  // 待機タイムアウト時間、デフォルトは5000ms
  waitForTimeout: number,
  // ページの最下部までスクロールするかどうか、デフォルトはfalse
  scrollToBottom: boolean,
  // クッキーを保存するかどうか、デフォルトはtrue
  saveCookies: boolean,
  // スクレイピング完了後にブラウザを閉じるかどうか、デフォルトはfalse
  closeBrowser: boolean
}

内容処理オプション

{
  // 内容抽出機能を有効にするかどうか、デフォルトはfalse
  extractContent: boolean,
  // 内容を抽出する際にメタデータを含めるかどうか、デフォルトはfalse
  includeMetadata: boolean,
  // extractContentがtrueの場合、失敗したときのリトライ回数、デフォルトは3回
  extractRetries: number
}

デバッグ情報

ログ出力形式

[LOG]    - 通常のログ情報
[INFO]   - システムのヒント情報
[DEBUG]  - デバッグ関連の情報（デバッグモードを有効にする必要があります）
[ERROR]  - エラー情報
[FETCH] - スクレイピング関連の操作

ログ接頭辞の説明

• [MAIN]: メインプロセスのログ
• [CHILD]: 子プロセスのログ
• [FETCH]: 単一のスクレイピングタスクのログ
• [EXTRACT]: 内容抽出モジュールのログ

環境変数設定

# デバッグモードを有効にする
DEBUG=mult-fetch:*

# デフォルトのスレッド数を設定
MAX_THREADS=10

# プロキシアドレスを設定
FETCH_PROXY=http://localhost:1080

付録

エラーコードの説明

• ECONNREFUSED: 接続が拒否されました
• ETIMEDOUT: リクエストがタイムアウトしました
• ENOTFOUND: ドメイン名が見つかりません
• EBADURL: 不正なURL形式です

イベントリスニング

// グローバルなエラーイベントを監視
process.on('uncaughtException', (err) => {
  console.error('Caught an error:', err);
});

// プロセスの終了イベントを監視
process.on('exit', () => {
  console.log('Process is exiting...');
});

内部ユーティリティ関数

// すべての実行中のスレッドの情報を取得
fetcher.getThreadsInfo();

// すべてのスレッドを強制終了
fetcher.terminate();

その他のドキュメント

公式ドキュメントを参照してください：mult-fetch.github.io

📄 ライセンス

このプロジェクトはMITオープンソースライセンスに準拠しています。詳細はLICENSEファイルを参照してください。