Playwright Scraper

一個基於Playwright的網頁內容抓取並轉換為Markdown的MCP服務

開發者工具研究與數據 #網頁抓取 #Markdown轉換 #無頭瀏覽器 #內容提取 .Python

評分 : 2.5分

下載量 : 117

更新時間 : 2025-04-28

什麼是MCP網頁內容抓取與Markdown轉換服務器？

這是一個基於Model Context Protocol（MCP）的服務器工具，專門用於抓取網頁內容並將其轉換為易於編輯的Markdown格式。它利用現代瀏覽器技術和HTML解析工具來處理複雜的網頁內容。

如何使用MCP網頁內容抓取與Markdown轉換服務器？

您只需提供一個URL地址，服務器會自動抓取該網頁的內容並將其轉換為Markdown格式。無需複雜的配置，非常適合需要快速獲取網頁內容的用戶。

適用場景

此工具適用於需要將網頁內容快速整理為Markdown格式的場景，例如博客文章創作、資料整理、數據分析報告生成等。

主要功能

網頁抓取功能支持從任何公開網頁抓取內容，無論是靜態還是動態頁面。

Markdown轉換功能將抓取到的內容自動轉換為高質量的Markdown格式，便於後續編輯和分享。

SSL證書驗證支持自定義是否對SSL證書進行驗證，確保抓取過程的安全性。

優勢與侷限性

優勢

無需手動複製粘貼，自動化抓取和轉換提高效率。

支持多種類型的網頁內容，包括複雜的JavaScript頁面。

高質量的Markdown輸出，便於進一步編輯和分享。

侷限性

對於受保護或私密的網頁可能無法抓取。

需要安裝額外的依賴項（如Python和Pandoc）才能運行。

不支持抓取登錄後的內容（需登錄的網站）。

如何使用

安裝MCP服務器

確保已安裝Python 3.11及以上版本，並安裝Playwright和Pandoc依賴。

啟動MCP服務器

使用命令啟動服務器，例如：python -m mcp_playwright_scraper。

執行抓取任務

在客戶端輸入抓取命令，例如：'抓取並轉換https://example.com的網頁內容'。

使用案例

抓取新聞網站內容抓取CNN網站的最新新聞內容並轉換為Markdown格式。

轉換複雜網頁為Markdown將包含大量JavaScript交互的網頁內容轉換為Markdown。

常見問題

MCP服務器支持哪些類型的網頁內容？

如何確保抓取過程的安全性？

是否可以抓取受密碼保護的網頁？

🚀 mcp-playwright-scraper

mcp-playwright-scraper 是一個模型上下文協議（MCP）服務器，可用於抓取網頁內容並將其轉換為 Markdown 格式，為網頁內容處理提供了便捷的解決方案。

🚀 快速開始

mcp-playwright-scraper 是一個強大的 MCP 服務器，能夠幫助您輕鬆抓取網頁內容並轉換為 Markdown 格式。以下將為您詳細介紹其使用方法。

✨ 主要特性

先進技術集成：此 MCP 服務器集成了多種優秀技術。使用 Playwright 進行無頭瀏覽器自動化，可輕鬆處理現代網頁，包括 JavaScript 密集型網站；藉助 BeautifulSoup 進行 HTML 解析和清理；利用 Pypandoc 實現高質量的 HTML 到 Markdown 轉換。
功能實用工具：服務器實現了 scrape_to_markdown 工具，可從指定 URL 抓取內容並轉換為 Markdown 格式。該工具使用簡單，必要參數僅需 url（字符串），同時還提供可選參數 verify_ssl（布爾值），可根據需求選擇是否驗證 SSL 證書（默認值為 true）。

📦 安裝指南

使用 uv（推薦）

當使用uv時，無需進行任何特定安裝。我們將直接使用uvx運行 mcp-playwright-scraper。

使用 pip

或者，您可以通過 pip 安裝 mcp-playwright-scraper：

pip install mcp-playwright-scraper

安裝完成後，您可以作為腳本運行：

python -m mcp_playwright_scraper

先決條件

安裝此服務器之前，請確保安裝 Playwright 瀏覽器依賴：

playwright install --with-deps chromium

💻 使用示例

基礎用法

使用 scrape_to_markdown 工具從指定 URL 抓取內容並轉換為 Markdown 格式：

# 假設已經安裝並導入了相應的庫
# 調用 scrape_to_markdown 工具，傳入必要的 url 參數
# 這裡的 url 請替換為實際要抓取的網頁地址
result = scrape_to_markdown(url="https://example.com")
print(result)

高級用法

在使用 scrape_to_markdown 工具時，可根據需求設置可選參數 verify_ssl：

# 假設已經安裝並導入了相應的庫
# 調用 scrape_to_markdown 工具，傳入 url 參數和 verify_ssl 參數
# 這裡的 url 請替換為實際要抓取的網頁地址
# verify_ssl 設置為 False 表示不驗證 SSL 證書
result = scrape_to_markdown(url="https://example.com", verify_ssl=False)
print(result)

📚 詳細文檔

配置

在 Claude Desktop 中配置

要將 MCP 服務器添加到 Claude Desktop，請按照以下步驟操作：

打開 Claude Desktop 的設置菜單。
選擇“AI”選項卡。
點擊“添加自定義模型”按鈕。
填寫以下信息：
- 名稱：mcp-playwright-scraper
- 類型：MCP Server
- 可執行文件路徑：your/custom/path/to/mcp-playwright-scraper/executable

在 Claude Code 中配置

在Claude Code中使用時，請將以下內容添加到 mcp-servers.json：

{
  "mcp-playwright-scraper": {
    "type": "MCP Server",
    "executablePath": "/path/to/mcp_playwright_scraper_executable"
  }
}

在 Zed 中配置

要在Zed中使用，請將以下內容添加到 mcp-servers.json：

{
  "mcp-playwright-scraper": {
    "type": "MCP Server",
    "executablePath": "/path/to/mcp_playwright_scraper_executable"
  }
}

在 Cursor 中配置

要在Cursor中使用，請將以下內容添加到 mcp-servers.json：

{
  "mcp-playwright-scraper": {
    "type": "MCP Server",
    "executablePath": "/path/to/mcp_playwright_scraper_executable"
  }
}

使用

添加 MCP 服務器

在 Claude Desktop 中添加 MCP 服務器：

打開設置菜單。
轉到“AI”選項卡。
點擊“+ 添加自定義模型”按鈕。
填寫以下信息：
- 名稱：mcp-playwright-scraper
- 類型：MCP Server
- 可執行文件路徑：/path/to/mcp_playwright_scraper_executable

使用命令行添加

您也可以使用以下命令將服務器添加到 mcp-servers.json：

uv add mcp-playwright-scraper --type MCP\ Server --config executablePath="/path/to/executable"

調試

要調試 MCP 服務器，請運行以下命令啟動 Inspector：

uv inspect run mcp-playwright-scraper

啟動後，您將在控制檯中看到一個 URL。將此 URL 複製到瀏覽器中以開始調試。

開發

構建和發佈

準備發行版本：

同步依賴並更新鎖定文件：
```
uv sync
```
構建發行版：
```
uv build
```
發佈到 PyPI：
```
uv publish
```

注意：您需要設置 PyPI 憑據，可以通過環境變量或命令行參數完成：

令牌：--token 或 UV_PUBLISH_TOKEN
用戶名/密碼：--username/UV_PUBLISH_USERNAME 和 --password/UV_PUBLISH_PASSWORD

📄 許可證

此 MCP 服務器根據 Apache License Version 2.0 授權。您有權自由使用、修改和分發軟件，但需遵守 Apache License 2.0 的條款和條件。有關詳細信息，請訪問 LICENSE 文件或訪問 http://www.apache.org/licenses/LICENSE-2.0。