Playwright Scraper

🚀 mcp-playwright-scraper

mcp-playwright-scraper 是一個模型上下文協議（MCP）服務器，可用於抓取網頁內容並將其轉換為 Markdown 格式，為網頁內容處理提供了便捷的解決方案。

🚀 快速開始

mcp-playwright-scraper 是一個強大的 MCP 服務器，能夠幫助您輕鬆抓取網頁內容並轉換為 Markdown 格式。以下將為您詳細介紹其使用方法。

✨ 主要特性

• 先進技術集成：此 MCP 服務器集成了多種優秀技術。使用 Playwright 進行無頭瀏覽器自動化，可輕鬆處理現代網頁，包括 JavaScript 密集型網站；藉助 BeautifulSoup 進行 HTML 解析和清理；利用 Pypandoc 實現高質量的 HTML 到 Markdown 轉換。
• 功能實用工具：服務器實現了 scrape_to_markdown 工具，可從指定 URL 抓取內容並轉換為 Markdown 格式。該工具使用簡單，必要參數僅需 url（字符串），同時還提供可選參數 verify_ssl（布爾值），可根據需求選擇是否驗證 SSL 證書（默認值為 true）。

📦 安裝指南

使用 uv（推薦）

當使用uv時，無需進行任何特定安裝。我們將直接使用uvx運行 mcp-playwright-scraper。

使用 pip

或者，您可以通過 pip 安裝 mcp-playwright-scraper：

pip install mcp-playwright-scraper

安裝完成後，您可以作為腳本運行：

python -m mcp_playwright_scraper

先決條件

安裝此服務器之前，請確保安裝 Playwright 瀏覽器依賴：

playwright install --with-deps chromium

💻 使用示例

基礎用法

使用 scrape_to_markdown 工具從指定 URL 抓取內容並轉換為 Markdown 格式：

# 假設已經安裝並導入了相應的庫
# 調用 scrape_to_markdown 工具，傳入必要的 url 參數
# 這裡的 url 請替換為實際要抓取的網頁地址
result = scrape_to_markdown(url="https://example.com")
print(result)

高級用法

在使用 scrape_to_markdown 工具時，可根據需求設置可選參數 verify_ssl：

# 假設已經安裝並導入了相應的庫
# 調用 scrape_to_markdown 工具，傳入 url 參數和 verify_ssl 參數
# 這裡的 url 請替換為實際要抓取的網頁地址
# verify_ssl 設置為 False 表示不驗證 SSL 證書
result = scrape_to_markdown(url="https://example.com", verify_ssl=False)
print(result)

📚 詳細文檔

配置

在 Claude Desktop 中配置

要將 MCP 服務器添加到 Claude Desktop，請按照以下步驟操作：

1. 打開 Claude Desktop 的設置菜單。
2. 選擇“AI”選項卡。
3. 點擊“添加自定義模型”按鈕。
4. 填寫以下信息：
   • 名稱：mcp-playwright-scraper
   • 類型：MCP Server
   • 可執行文件路徑：your/custom/path/to/mcp-playwright-scraper/executable

在 Claude Code 中配置

在Claude Code中使用時，請將以下內容添加到 mcp-servers.json：

{
  "mcp-playwright-scraper": {
    "type": "MCP Server",
    "executablePath": "/path/to/mcp_playwright_scraper_executable"
  }
}

在 Zed 中配置

要在Zed中使用，請將以下內容添加到 mcp-servers.json：

{
  "mcp-playwright-scraper": {
    "type": "MCP Server",
    "executablePath": "/path/to/mcp_playwright_scraper_executable"
  }
}

在 Cursor 中配置

要在Cursor中使用，請將以下內容添加到 mcp-servers.json：

{
  "mcp-playwright-scraper": {
    "type": "MCP Server",
    "executablePath": "/path/to/mcp_playwright_scraper_executable"
  }
}

使用

添加 MCP 服務器

在 Claude Desktop 中添加 MCP 服務器：

1. 打開設置菜單。
2. 轉到“AI”選項卡。
3. 點擊“+ 添加自定義模型”按鈕。
4. 填寫以下信息：
   • 名稱：mcp-playwright-scraper
   • 類型：MCP Server
   • 可執行文件路徑：/path/to/mcp_playwright_scraper_executable

使用命令行添加

您也可以使用以下命令將服務器添加到 mcp-servers.json：

uv add mcp-playwright-scraper --type MCP\ Server --config executablePath="/path/to/executable"

調試

要調試 MCP 服務器，請運行以下命令啟動 Inspector：

uv inspect run mcp-playwright-scraper

啟動後，您將在控制檯中看到一個 URL。將此 URL 複製到瀏覽器中以開始調試。

開發

構建和發佈

準備發行版本：

1. 同步依賴並更新鎖定文件：

   uv sync
   

2. 構建發行版：

   uv build
   

3. 發佈到 PyPI：

   uv publish
   

注意：您需要設置 PyPI 憑據，可以通過環境變量或命令行參數完成：

• 令牌：--token 或 UV_PUBLISH_TOKEN
• 用戶名/密碼：--username/UV_PUBLISH_USERNAME 和 --password/UV_PUBLISH_PASSWORD

📄 許可證

此 MCP 服務器根據 Apache License Version 2.0 授權。您有權自由使用、修改和分發軟件，但需遵守 Apache License 2.0 的條款和條件。有關詳細信息，請訪問 LICENSE 文件或訪問 http://www.apache.org/licenses/LICENSE-2.0。