MCP Web Scrapper

🚀 開始使用MCP服務器抓取器

本項目可讓你從glama.ai抓取並提取MCP網絡服務器相關信息。下面為你詳細介紹設置和運行該抓取器的步驟。

🚀 快速開始

本MCP服務器抓取器能幫助你從指定網站抓取並提取MCP網絡服務器的相關數據，操作簡單便捷，助你高效獲取所需信息。

📦 安裝指南

📦 先決條件

• Node.js
• npm

🔧 安裝步驟

1. 克隆倉庫

git clone https://github.com/Neche-Stephen/mcp_web_scrapper
cd mcp_web_scrapper

2. 安裝依賴項

npm install

💻 使用示例

🗃 檢查現有數據

在運行新的抓取任務前，你需要檢查servers-json文件夾的情況：

1. 查看servers-json文件夾是否存在。
2. 若該文件夾存在且包含文件，說明之前已經抓取過數據。
3. 若要運行新的抓取批次，需刪除servers-json文件夾，可使用以下命令：

rm -rf servers-json

第一步：抓取MCP服務器鏈接

運行抓取器來收集所有MCP服務器鏈接，使用以下命令：

node scraper.js

• 抓取器會啟動無頭瀏覽器並開始收集數據。
• 請耐心等待，此過程可能需要幾分鐘。
• 抓取完成後，你會看到“關閉瀏覽器”的消息。

輸出結果：在servers-json文件夾中會生成一個名為server-links.json的文件，其中包含所有抓取到的鏈接。

第二步：處理並提取服務器數據

現在，使用以下命令從每個服務器鏈接獲取詳細信息：

node process-links.js

• 腳本會讀取server-links.json文件並訪問每個鏈接以抓取必要的數據。
• 終端會顯示進度報告。
• 抓取完成後，你會看到成功消息。

所有抓取的數據將存儲在servers-json目錄中的不同文件中，文件名即為相應的MCP服務器名稱。