Mult Fetch MCP Server

🚀 多線程抓取 - 項目文檔

mult-fetch 是一款多線程網絡抓取庫，支持在 Node.js 和瀏覽器模式間靈活切換。它具備強大的配置選項與擴展能力，能出色應對複雜的網頁抓取任務。

🚀 快速開始

安裝依賴

npm install mult-fetch chrome-driver

示例代碼

const fetch = require('mult-fetch');
 
// 創建一個默認配置對象
const defaultConfig = {
  // 是否啟用瀏覽器模式，默認false
  useBrowser: false,
  // 是否自動檢測並切換模式，默認true
  autoDetectMode: true,
  // 等待頁面加載的超時時間，默認5000ms
  waitForTimeout: 5000,
  // 代理配置，按優先級從高到低依次為：
  proxy: {
    server: 'http://localhost:1080' // SOCKS5代理示例
  }
};

// 創建一個實例
const fetcher = new fetch.MultiFetcher(defaultConfig);

// 執行抓取任務
fetcher.fetch('https://example.com', (err, resp, body) => {
  if (err) {
    console.error('[FETCH]', err.message);
    return;
  }

  // 處理響應內容
  const $ = cheerio.load(body);
  // 提取文章內容
  const content = $('article').text();
  console.log('Content:', content);
});

✨ 主要特性

• 多線程運行：支持同時啟動多個抓取線程。
• 智能模式切換：默認使用 Node.js fetch，失敗後自動切換到 BrowserFetcher（基於 Puppeteer）。
• 豐富配置選項：提供代理、調試、瀏覽器設置等詳細配置項。
• 內容處理能力：內置內容提取功能，可過濾廣告和無用信息。

📚 詳細文檔

配置選項

網絡配置

// 代理優先級：
1. 命令行指定的代理（如果有的話）
2. 請求中明確設置的proxy參數
3. 當useSystemProxy為true時，從環境變量獲取
4. 當useSystemProxy為true時，讀取git config中的配置

注意：當proxy被顯式設置時，useSystemProxy將自動設為false。

瀏覽器模式配置

// 瀏覽器相關配置：
{
  // 是否等待特定選擇器出現，默認'body'
  waitForSelector: string | null,
  // 等待超時時間，默認5000ms
  waitForTimeout: number,
  // 是否滾動到底部，默認false
  scrollToBottom: boolean,
  // 是否保存cookies，默認true
  saveCookies: boolean,
  // 抓取完成後是否關閉瀏覽器，默認false
  closeBrowser: boolean
}

內容處理選項

{
  // 是否啟用內容提取功能，默認false
  extractContent: boolean,
  // 提取內容時是否包含元數據，默認false
  includeMetadata: boolean,
  // 當extractContent為true時，失敗重試次數，默認3次
  extractRetries: number
}

調試信息

日誌輸出格式

[LOG]    - 正常日誌信息
[INFO]   - 系統提示信息
[DEBUG]  - 調試相關信息（需啟用debug模式）
[ERROR]  - 錯誤信息
[FETCH] - 抓取相關操作

日誌前綴說明

• [MAIN]: 主進程日誌
• [CHILD]: 子進程日誌
• [FETCH]: 單個抓取任務日誌
• [EXTRACT]: 內容提取模塊日誌

環境變量配置

# 啟用調試模式
DEBUG=mult-fetch:*

# 設置默認線程數量
MAX_THREADS=10

# 配置代理地址
FETCH_PROXY=http://localhost:1080

附錄

錯誤代碼說明

• ECONNREFUSED: 連接被拒絕
• ETIMEDOUT: 請求超時
• ENOTFOUND: 域名未找到
• EBADURL: 非法的 URL 格式

事件監聽

// 監聽全局錯誤事件
process.on('uncaughtException', (err) => {
  console.error('Caught an error:', err);
});

// 監聽進程退出事件
process.on('exit', () => {
  console.log('Process is exiting...');
});

內部工具函數

// 獲取所有運行中的線程信息
fetcher.getThreadsInfo();

// 強制終止所有線程
fetcher.terminate();

📄 許可證

本項目遵循 MIT 開源協議，更多內容請查看 LICENSE 文件。

更多文檔

請參考官方文檔：mult-fetch.github.io