Web Crawler

🚀 ウェブクローラーMCPサーバーのデプロイガイド

このウェブクローラーMCPサーバーは、ウェブページの情報を収集するためのツールです。以下に、サーバーのデプロイ手順や使用方法を説明します。

🚀 クイックスタート

ウェブクローラーMCPサーバーをデプロイするには、以下の手順に従ってください。

✨ 主な機能

• Node.jsをベースに構築されたウェブクローラーサーバーです。
• 環境変数を設定することで、クローリングの設定を柔軟に変更できます。
• MCPを通じて crawl ツールを利用できます。

📦 インストール

前提条件

• Node.js (v18+)
• npm (v9+)

インストール手順

1. リポジトリをクローンします。

   git clone https://github.com/jitsmaster/web-crawler-mcp.git
   cd web-crawler-mcp
   

2. 依存関係をインストールします。

   npm install
   

3. プロジェクトをビルドします。

   npm run build
   

💻 使用例

基本的な使用法

サーバーの設定

.env ファイルを作成し、以下の環境変数を追加します。

CRAWL_LINKS=false
MAX_DEPTH=3
REQUEST_DELAY=1000
TIMEOUT=5000
MAX_CONCURRENT=5

サーバーの起動

MCPサーバーを起動します。

npm start

MCPの設定

MCP設定ファイルに以下の内容を追加します。

{
  "mcpServers": {
    "web-crawler": {
      "command": "node",
      "args": ["/path/to/web-crawler/build/index.js"],
      "env": {
        "CRAWL_LINKS": "false",
        "MAX_DEPTH": "3",
        "REQUEST_DELAY": "1000",
        "TIMEOUT": "5000",
        "MAX_CONCURRENT": "5"
      }
    }
  }
}

クローリングの実行

サーバーは crawl ツールを提供しており、MCPを通じてアクセスできます。以下は使用例です。

{
  "url": "https://example.com",
  "depth": 1
}

📚 ドキュメント

設定オプション