mcp-server-spiderとは？

mcp-server-spiderは、Model Context Protocolに基づくサーバーで、ウェブページのクローリングとコンテンツの取得に特化して設計されています。ユーザーがウェブページからリンクとコンテンツを自動的に抽出するのを支援し、データ収集や分析などのシナリオに適しています。

mcp-server-spiderの使い方は？

簡単なAPI呼び出しで、クローラータスクを起動し、ターゲットURLやクローリングの深さなどのパラメータを指定できます。サーバーはクローリングしたリンクまたはページコンテンツを返します。

市場調査、競合分析、コンテンツの集約、SEO分析など、複数のウェブページからデータを収集する必要があるシナリオに適しています。

ウェブページのクローリング指定されたURLから開始し、設定された深さまでウェブページをクローリングし、見つかったすべてのリンクを返します。

コンテンツの取得ウェブページのコンテンツを取得し、URL、リンク、ページコンテンツを含む構造化データを返します。

URLフィルタリングホワイトリストとブラックリストの正規表現を使用したURLのフィルタリングをサポートします。

利点

使いやすいAPIインターフェース

柔軟なURLフィルタリングをサポート

クローリングの深さを設定可能

robots.txtプロトコルをサポート

制限

現在は開発の初期段階で、バグが存在する可能性があります。

パフォーマンスはターゲットウェブサイトの応答速度に影響を受ける可能性があります。

JavaScriptレンダリングされたページをサポートしていません。

インストール

pipまたはuvを使用してmcp-server-spiderをインストールします。

サーバーの起動

インストールが完了したら、サーバーを起動します。

リクエストの送信

APIツールを使用して、サーバーにクローリングまたは取得リクエストを送信します。

ウェブサイトのすべてのリンクを収集するウェブサイトのすべての内部リンクを取得し、ウェブサイトの構造を分析するために使用します。

ニュースコンテンツの取得ニュースウェブサイトから記事のタイトルとコンテンツを取得します。

mcp-server-spiderは無料ですか？

ウェブサイトの反クローリング機構をどのように処理しますか？

サポートされる最大クローリング深さはいくらですか？

このサーバーは、Spiderクローラーのインタラクションと自動化のために設計されたModel Context Protocol（モデルコンテキストプロトコル）サーバーです。ウェブページの内容を収集して抽出するためのツールを提供します。

なお、mcp-server-spiderは現在早期開発段階にあり、バグが存在する可能性があり、将来的にさらに多くの機能が追加される予定です。

crawl
- 指定されたURLをクロールし、見つかったすべてのURLのリストを返します。
- 入力パラメータ：
  - url：クロールするURLアドレス
  - headers：クロールリクエストに追加する追加のヘッダー情報
  - user_agent：クロールリクエストに設定するユーザーエージェント
  - depth：リンクをたどる最大深度
  - blacklist：ブラックリストフィルタリングに使用する一連の正規表現ルール
  - whitelist：ホワイトリストフィルタリングに使用する一連の正規表現ルール
  - respect_robots_txt：robots.txtファイルの規定を遵守するかどうか
  - accept_invalid_certs：無効な証明書を受け入れるかどうか
- 戻り値：見つかったすべてのURLのリスト
scrape
- 指定されたURLをクロールし、クロールした各ページの情報（URL、リンク、内容など）を含むJSONオブジェクトのリストを返します。
- 入力パラメータ：crawlコマンドと同じ
- 戻り値：URL、リンク、内容を含むJSONオブジェクトのリスト（文字列として返されます）