Playwright Scraper

🚀 mcp-playwright-scraper

このモデルコンテキストプロトコル（MCP）サーバーは、ウェブページの内容をスクレイピングし、Markdown形式に変換するためのツールです。

🚀 クイックスタート

このMCPサーバーは、ウェブページから内容をスクレイピングし、それをMarkdown形式に変換するシンプルなツールを提供します。以下の技術を使用しています。

• Playwright：ヘッドレスブラウザーの自動化に使用され、JavaScriptが多用されたサイトを含む現代的なウェブページを処理します。
• BeautifulSoup：HTMLの解析とクリーニングに使用されます。
• Pypandoc：高品質なHTMLからMarkdownへの変換に使用されます。

✨ 主な機能

このサーバーは以下のツールを実装しています。

• scrape_to_markdown：URLから内容をスクレイピングし、Markdown形式に変換します。
  • 必須パラメータ：url（文字列） - スクレイピングするURL
  • オプションパラメータ：verify_ssl（ブール値） - SSL証明書を検証するかどうか（デフォルト値：true）

📦 インストール

uvを使用する場合（推奨）

uvを使用する場合、特別なインストールは必要ありません。uvxを直接使用してmcp-playwright-scraperを実行します。

pipを使用する場合

または、pipを使用してmcp-playwright-scraperをインストールすることもできます。

pip install mcp-playwright-scraper

インストールが完了したら、スクリプトとして実行できます。

python -m mcp_playwright_scraper

前提条件

このサーバーをインストールする前に、Playwrightのブラウザー依存関係をインストールしてください。

playwright install --with-deps chromium

📚 ドキュメント

Claude Desktopでの設定

Claude DesktopにMCPサーバーを追加するには、以下の手順に従ってください。

1. Claude Desktopの設定メニューを開きます。
2. 「AI」タブを選択します。
3. 「カスタムモデルを追加」ボタンをクリックします。
4. 以下の情報を入力します。
   • 名前：mcp-playwright-scraper
   • タイプ：MCP Server
   • 実行可能ファイルのパス：your/custom/path/to/mcp-playwright-scraper/executable

Claude Codeでの設定

Claude Codeで使用する場合は、以下の内容をmcp-servers.jsonに追加してください。

{
  "mcp-playwright-scraper": {
    "type": "MCP Server",
    "executablePath": "/path/to/mcp_playwright_scraper_executable"
  }
}

Zedでの設定

Zedで使用する場合は、以下の内容をmcp-servers.jsonに追加してください。

{
  "mcp-playwright-scraper": {
    "type": "MCP Server",
    "executablePath": "/path/to/mcp_playwright_scraper_executable"
  }
}

Cursorでの設定

Cursorで使用する場合は、以下の内容をmcp-servers.jsonに追加してください。

{
  "mcp-playwright-scraper": {
    "type": "MCP Server",
    "executablePath": "/path/to/mcp_playwright_scraper_executable"
  }
}

使用方法

Claude DesktopでのMCPサーバーの追加

Claude DesktopにMCPサーバーを追加するには、以下の手順に従ってください。

1. 設定メニューを開きます。
2. 「AI」タブに移動します。
3. 「+ カスタムモデルを追加」ボタンをクリックします。
4. 以下の情報を入力します。
   • 名前：mcp-playwright-scraper
   • タイプ：MCP Server
   • 実行可能ファイルのパス：/path/to/mcp_playwright_scraper_executable

コマンドラインを使用して追加する

以下のコマンドを使用して、サーバーをmcp-servers.jsonに追加することもできます。

uv add mcp-playwright-scraper --type MCP\ Server --config executablePath="/path/to/executable"

デバッグ

MCPサーバーをデバッグするには、以下のコマンドを実行してInspectorを起動します。

uv inspect run mcp-playwright-scraper

起動後、コンソールにURLが表示されます。このURLをブラウザーにコピーして、デバッグを開始します。

開発

ビルドと公開

リリースバージョンを準備するには、以下の手順に従ってください。

1. 依存関係を同期し、ロックファイルを更新します。

   uv sync
   

2. リリース版をビルドします。

   uv build
   

3. PyPIに公開します。

   uv publish
   

注意：PyPIの資格情報を設定する必要があります。環境変数またはコマンドライン引数を使用して設定できます。

• トークン：--token または UV_PUBLISH_TOKEN
• ユーザー名/パスワード：--username/UV_PUBLISH_USERNAME および --password/UV_PUBLISH_PASSWORD

📄 ライセンス

このMCPサーバーは、Apache License Version 2.0に基づいてライセンスされています。ソフトウェアを自由に使用、変更、配布することができますが、Apache License 2.0の条項と条件に従う必要があります。詳細については、LICENSEファイルを参照するか、http://www.apache.org/licenses/LICENSE-2.0 を訪問してください。