MCP Server Spider

スパイダークローラーのインタラクションと自動化に使用するMCPサーバーで、ウェブページの取得とクローリングツールを提供します。現在は開発の初期段階です。

研究とデータ開発者ツール #ウェブページのクローリング #データの取得 #自動化 #MCPプロトコル .Python

スコア : 2ポイント

ダウンロード数 : 8.6K

更新時間 : 2025-04-28

サイトを開く

mcp-server-spiderとは？

mcp-server-spiderは、Model Context Protocolに基づくサーバーで、ウェブページのクローリングとコンテンツの取得に特化して設計されています。ユーザーがウェブページからリンクとコンテンツを自動的に抽出するのを支援し、データ収集や分析などのシナリオに適しています。

mcp-server-spiderの使い方は？

簡単なAPI呼び出しで、クローラータスクを起動し、ターゲットURLやクローリングの深さなどのパラメータを指定できます。サーバーはクローリングしたリンクまたはページコンテンツを返します。

適用シナリオ

市場調査、競合分析、コンテンツの集約、SEO分析など、複数のウェブページからデータを収集する必要があるシナリオに適しています。

主要機能

ウェブページのクローリング

指定されたURLから開始し、設定された深さまでウェブページをクローリングし、見つかったすべてのリンクを返します。

コンテンツの取得

ウェブページのコンテンツを取得し、URL、リンク、ページコンテンツを含む構造化データを返します。

URLフィルタリング

ホワイトリストとブラックリストの正規表現を使用したURLのフィルタリングをサポートします。

利点

使いやすいAPIインターフェース

柔軟なURLフィルタリングをサポート

クローリングの深さを設定可能

robots.txtプロトコルをサポート

制限

現在は開発の初期段階で、バグが存在する可能性があります。

パフォーマンスはターゲットウェブサイトの応答速度に影響を受ける可能性があります。

JavaScriptレンダリングされたページをサポートしていません。

使い方

インストール

pipまたはuvを使用してmcp-server-spiderをインストールします。

サーバーの起動

インストールが完了したら、サーバーを起動します。

リクエストの送信

APIツールを使用して、サーバーにクローリングまたは取得リクエストを送信します。

使用例

ウェブサイトのすべてのリンクを収集する

ウェブサイトのすべての内部リンクを取得し、ウェブサイトの構造を分析するために使用します。

ニュースコンテンツの取得

ニュースウェブサイトから記事のタイトルとコンテンツを取得します。

よくある質問

mcp-server-spiderは無料ですか？

ウェブサイトの反クローリング機構をどのように処理しますか？

サポートされる最大クローリング深さはいくらですか？

🚀 mcp-server-spider：Spiderクローラー用のモデルコンテキストプロトコルサーバー

このサーバーは、Spiderクローラーのインタラクションと自動化のために設計されたModel Context Protocol（モデルコンテキストプロトコル）サーバーです。ウェブページの内容を収集して抽出するためのツールを提供します。

なお、mcp-server-spiderは現在早期開発段階にあり、バグが存在する可能性があり、将来的にさらに多くの機能が追加される予定です。

🚀 クイックスタート

✨ 主な機能

ツール

crawl
- 指定されたURLをクロールし、見つかったすべてのURLのリストを返します。
- 入力パラメータ：
  - url：クロールするURLアドレス
  - headers：クロールリクエストに追加する追加のヘッダー情報
  - user_agent：クロールリクエストに設定するユーザーエージェント
  - depth：リンクをたどる最大深度
  - blacklist：ブラックリストフィルタリングに使用する一連の正規表現ルール
  - whitelist：ホワイトリストフィルタリングに使用する一連の正規表現ルール
  - respect_robots_txt：robots.txtファイルの規定を遵守するかどうか
  - accept_invalid_certs：無効な証明書を受け入れるかどうか
- 戻り値：見つかったすべてのURLのリスト
scrape
- 指定されたURLをクロールし、クロールした各ページの情報（URL、リンク、内容など）を含むJSONオブジェクトのリストを返します。
- 入力パラメータ：crawlコマンドと同じ
- 戻り値：URL、リンク、内容を含むJSONオブジェクトのリスト（文字列として返されます）