Web Crawler

🚀 網頁爬蟲 MCP 服務器部署指南

本項目旨在提供一個網頁爬蟲 MCP 服務器的部署方案，幫助用戶快速搭建並使用網頁爬蟲服務，通過配置不同參數實現多樣化的網頁爬取需求。

🚀 快速開始

先決條件

• Node.js (v18+)
• npm (v9+)

📦 安裝指南

1. 克隆倉庫:

   git clone https://github.com/jitsmaster/web-crawler-mcp.git
   cd web-crawler-mcp
   

2. 安裝依賴項:

   npm install
   

3. 構建項目:

   npm run build
   

📚 詳細文檔

配置

創建一個 .env 文件，並添加以下環境變量:

CRAWL_LINKS=false
MAX_DEPTH=3
REQUEST_DELAY=1000
TIMEOUT=5000
MAX_CONCURRENT=5

運行服務器

啟動 MCP 服務器:

npm start

MCP 配置

在你的 MCP 設置文件中添加以下內容:

{
  "mcpServers": {
    "web-crawler": {
      "command": "node",
      "args": ["/path/to/web-crawler/build/index.js"],
      "env": {
        "CRAWL_LINKS": "false",
        "MAX_DEPTH": "3",
        "REQUEST_DELAY": "1000",
        "TIMEOUT": "5000",
        "MAX_CONCURRENT": "5"
      }
    }
  }
}

使用方法

服務器提供了一個 crawl 工具，可以通過 MCP 訪問。示例用法:

{
  "url": "https://example.com",
  "depth": 1
}

配置選項