Playwright Fetch

🚀 Playwright Fetch MCP Server

Playwright Fetch MCP Server 是一個基於 Model Context Protocol 的服務器，藉助 Playwright 實現瀏覽器自動化，為大語言模型（LLMs）提供網頁內容抓取能力。它能夠幫助 LLMs 從網頁中獲取並處理 JavaScript 渲染後的內容，還能將 HTML 轉換為便於使用的 Markdown 格式。

🚀 快速開始

本項目藉助 Playwright 實現瀏覽器自動化，可抓取網頁中的 JavaScript 渲染內容，並將其轉換為 Markdown 格式。以下是使用前的準備步驟：

1. 確保安裝 Python 3.13.2 或更新版本。
2. 安裝 uv 包管理器。
3. 安裝 Playwright 瀏覽器。

✨ 主要特性

• 瀏覽器自動化：利用 Playwright 渲染支持完整 JavaScript 的網頁。
• 內容提取：自動識別並提取網頁的主要內容區域。
• Markdown 轉換：將 HTML 轉換為簡潔易讀的 Markdown 格式。
• 分頁支持：通過分頁處理大量內容。
• 遵守 robots.txt：在自動抓取時遵循 robots.txt 指令。
• 代理支持：允許通過代理服務器路由請求。
• 支持 Docker：可通過 Docker Hub 和 GitHub Container Registry 獲取預構建的 Docker 鏡像。

📦 安裝指南

1. 使用 uv 安裝（推薦）

uv pip install git+https://github.com/ThreatFlux/playwright-fetch.git
# 安裝 Playwright 瀏覽器
uv pip exec playwright install

或者，克隆倉庫並安裝：

git clone https://github.com/ThreatFlux/playwright-fetch.git
cd playwright-fetch
uv pip install -e .
# 安裝 Playwright 瀏覽器
uv pip exec playwright install

2. 使用 Docker

可以從 Docker Hub 或 GitHub Container Registry 獲取預構建的 Docker 鏡像：

# 從 Docker Hub 獲取
docker pull threatflux/playwright-fetch:latest

# 從 GitHub Container Registry 獲取
docker pull ghcr.io/threatflux/playwright-fetch:latest

也可以自行構建：

docker build -t threatflux/playwright-fetch .

📚 詳細文檔

可用工具

• playwright-fetch - 使用 Playwright 瀏覽器自動化抓取 URL 並將內容提取為 Markdown 格式。
  • url（字符串，必需）：要抓取的 URL。
  • max_length（整數，可選）：返回的最大字符數（默認：5000）。
  • start_index（整數，可選）：從該字符索引開始提取內容（默認：0）。
  • raw（布爾值，可選）：獲取未經 Markdown 轉換的原始內容（默認：false）。
  • wait_for_js（布爾值，可選）：等待 JavaScript 執行（默認：true）。

提示信息

• playwright-fetch
  • 使用 Playwright 抓取 URL 並將內容提取為 Markdown 格式。
  • 參數：
    • url（字符串，必需）：要抓取的 URL。

配置說明

為 Claude.app 配置

在 Claude 設置中添加以下內容：

"mcpServers": {
  "playwright-fetch": {
    "command": "uvx",
    "args": ["mcp-server-playwright-fetch"]
  }
}

"mcpServers": {
  "playwright-fetch": {
    "command": "docker",
    "args": ["run", "-i", "--rm", "threatflux/playwright-fetch"]
  }
}

為 VS Code 配置

手動安裝時，在 VS Code 的用戶設置（JSON）文件中添加以下 JSON 塊：

{
  "mcp": {
    "servers": {
      "playwright-fetch": {
        "command": "uvx",
        "args": ["mcp-server-playwright-fetch"]
      }
    }
  }
}

{
  "mcp": {
    "servers": {
      "playwright-fetch": {
        "command": "docker",
        "args": ["run", "-i", "--rm", "threatflux/playwright-fetch"]
      }
    }
  }
}

命令行選項

服務器支持以下命令行選項：

• --user-agent：自定義 User-Agent 字符串。
• --ignore-robots-txt：忽略 robots.txt 限制。
• --proxy-url：請求使用的代理 URL。
• --headless：以無頭模式運行瀏覽器（默認：True）。
• --wait-until：指定何時認為導航成功（可選值："load", "domcontentloaded", "networkidle", "commit"，默認："networkidle"）。

💻 使用示例

基礎用法

# 使用默認設置運行
uv run mcp-server-playwright-fetch

高級用法

# 使用自定義用戶代理和代理運行
uv run mcp-server-playwright-fetch --user-agent="MyCustomAgent/1.0" --proxy-url="http://myproxy:8080"

# 以可見瀏覽器模式運行以進行調試
uv run mcp-server-playwright-fetch --headless=false

🔧 技術細節

調試方法

可以使用 MCP 檢查器調試服務器：

npx @modelcontextprotocol/inspector uvx mcp-server-playwright-fetch

與標準抓取服務器的差異

本實現與標準的抓取 MCP 服務器有以下不同：

1. 瀏覽器自動化：使用 Playwright 渲染 JavaScript 密集型頁面。
2. 內容提取：嘗試從常見頁面結構中提取主要內容。
3. 等待選項：可配置頁面加載策略（等待加載、DOM 內容、網絡空閒）。
4. 可見瀏覽器選項：可使用可見瀏覽器進行調試。

📄 許可證

本項目採用 MIT 許可證。詳情請參閱 LICENSE 文件。

👨‍💻 作者

本項目由 Wyatt Roersma 創建，並得到了 Claude Code 的協助。