MCP Web Scrapper

🚀 MCPサーバースクレイパーの使い始め方

このプロジェクトでは、glama.aiからMCPネットワークサーバーをスクレイピングして抽出することができます。以下の手順に従って、スクレイパーを設定して実行してください。

🚀 クイックスタート

📦 前提条件

• Node.js
• npm

📦 インストール

1. リポジトリをクローンする:

git clone https://github.com/Neche-Stephen/mcp_web_scrapper
cd mcp_web_scrapper

2. 依存関係をインストールする:

npm install

🗃 既存のデータを確認する

新しいスクレイピングを実行する前に：

1. servers-jsonフォルダが存在するかを確認します。
2. 存在し、ファイルが含まれている場合、以前にデータをスクレイピングしたことを意味します。
3. 新しいバッチを実行するには、servers-jsonフォルダを削除します:

rm -rf servers-json

ステップ1：MCPサーバーのリンクをスクレイピングする

すべてのMCPサーバーのリンクを収集するために、スクレイパーを実行します：

node scraper.js

• スクレイパーはヘッドレスブラウザを起動し、データの収集を開始します。
• しばらくお待ちください — 数分かかる場合があります。
• スクレイピングが完了すると、「ブラウザを閉じる」というメッセージが表示されます。

出力：servers-jsonフォルダにserver-links.jsonという名前のファイルが生成され、すべてのスクレイピングされたリンクが含まれます。

ステップ2：サーバーデータを処理して抽出する

ここで、各サーバーのリンクから詳細情報を取得します：

node process-links.js

• スクリプトはserver-links.jsonを読み取り、各リンクにアクセスして必要なデータをスクレイピングします。
• ターミナルに進捗レポートが表示されます。
• スクレイピングが完了すると、成功メッセージが表示されます。

すべてのスクレイピングされたデータは、servers-jsonディレクトリ内の異なるファイルに保存され、ファイル名は対応するMCPサーバーの名前になります。