Fetch MCP

🚀 Fetcher MCP

Fetcher MCPは、Playwrightのヘッドレスブラウザを使用した、ウェブページの内容を取得するためのMCPサーバーです。このサーバーは、JavaScriptの実行やコンテンツの自動抽出など、多くの便利な機能を備えています。

✨ 主な機能

• JavaScriptサポート：従来のウェブクローラーとは異なり、Fetcher MCPはPlaywrightを使用してJavaScriptを実行するため、動的なウェブページの内容や最新のウェブアプリケーションを処理することができます。
• 智能コンテンツ抽出：組み込まれた読みやすさアルゴリズムにより、ウェブページから主要な内容を自動的に抽出し、広告、ナビゲーション、その他の不要な要素を削除します。
• 柔軟な出力形式：HTMLとMarkdownの2つの出力形式をサポートしており、様々な下流のアプリケーションとの統合が容易です。
• 並列処理：fetch_urls ツールにより、複数のウェブページを同時に取得できるため、効率が向上します。
• 豊富な機能：デバッグモード、カスタムブラウザのインストール、詳細なドキュメントなど、様々な機能を備えています。

🚀 クイックスタート

サーバーの起動

npm start

Playwrightブラウザのインストール

npm run install-browser

📦 インストール

MCPの設定

設定ファイルの変更

config.json ファイルを編集します。

{
  "port": 3000,
  "debug": false,
  "proxy": null,
  "timeout": 5000,
  "maxConcurrency": 10
}

💻 使用例

fetch_url コマンド

単一のウェブページを取得します。

curl http://localhost:3000/fetch?url=example.com

サポートされるパラメータ：

• url：必須。対象のウェブページのURLです。
• depth：クロールの深さ。デフォルトは1です。
• delay：リクエストの間隔時間。デフォルトは0です。
• user-agent：カスタムユーザーエージェント文字列。

fetch_urls コマンド

複数のウェブページを一括で取得します。

curl http://localhost:3000/fetch/urls -X POST -H "Content-Type: application/json" -d '{"urls": ["example.com", "test.com"]}'

📚 ドキュメント

開発ガイド

依存関係のインストール

npm install

プロジェクトのビルド

npm run build

デバッグツール

MCPインスペクターツールを使用してデバッグします。

npm run inspector

関連プロジェクト

• g-search-mcp：複数のキーワードを同時に使用した並列検索をサポートする強力なMCPサーバーです。大量のデータ収集タスクに最適です。

📄 ライセンス

このプロジェクトはMIT Licenseに準拠しています。