Fetch MCP

🚀 Fetcher MCP

Fetcher MCP 是一個藉助 Playwright 無頭瀏覽器來抓取網頁內容的 MCP 服務器。它能處理動態網頁內容和現代 web 應用，還可自動提取網頁主要內容，支持多種輸出格式，能高效完成網頁抓取任務。

🚀 快速開始

運行服務器

npm start

安裝 Playwright 瀏覽器

npm run install-browser

✨ 主要特性

• JavaScript支持：與傳統網絡爬蟲不同，Fetcher MCP 使用 Playwright 執行 JavaScript，能夠處理動態網頁內容和現代 web 應用。
• 智能內容提取：內置可讀性算法自動從網頁中提取主要內容，去除廣告、導航和其他非必要元素。
• 靈活輸出格式：支持 HTML 和 Markdown 兩種輸出格式，便於與各種下游應用程序集成。
• 並行處理：fetch_urls 工具可併發抓取多個網頁，提升效率。
• 豐富功能：包括調試模式、自定義瀏覽器安裝和詳細的文檔說明。

📦 安裝指南

安裝依賴

npm install

構建項目

npm run build

📚 詳細文檔

配置 MCP

修改配置文件

編輯 config.json 文件：

{
  "port": 3000,
  "debug": false,
  "proxy": null,
  "timeout": 5000,
  "maxConcurrency": 10
}

功能說明

fetch_url 命令

抓取單個網頁：

curl http://localhost:3000/fetch?url=example.com

支持參數：

• url：必填，目標網頁地址。
• depth：爬取深度，默認 1。
• delay：請求間隔時間，默認 0。
• user-agent：自定義用戶代理字符串。

fetch_urls 命令

批量抓取多個網頁：

curl http://localhost:3000/fetch/urls -X POST -H "Content-Type: application/json" -d '{"urls": ["example.com", "test.com"]}'

調試工具

使用 MCP 檢查工具進行調試：

npm run inspector

相關項目

• g-search-mcp：一個強大的 MCP 服務器，支持同時使用多個關鍵詞進行並行搜索。非常適合批量數據採集任務。

📄 許可證

遵循 MIT License 協議。