Spider MCP

🚀 Spider MCP - 網頁搜索爬蟲服務

Spider MCP 是一個基於純爬蟲技術構建的網頁搜索 MCP 服務，採用 Node.js 開發，能夠在不依賴第三方官方 API 的情況下，實現網頁和新聞的智能搜索。

✨ 主要特性

• ❌ 無需官方 API：完全基於爬蟲技術，不依賴第三方官方 API。
• 🔍 智能搜索：支持 Bing 網頁和新聞搜索。
• 📰 新聞搜索：內置新聞搜索功能，支持時間過濾。
• 🕷️ 純爬蟲實現：不依賴官方 API，使用 Puppeteer 進行網頁抓取。
• 🚀 高性能：支持批量網頁抓取。
• 📊 健康監控：具備完整的健康檢查和指標監控功能。
• 📝 結構化日誌：使用 Winston 進行結構化日誌記錄。
• 🔒 反檢測機制：支持 User-Agent 輪換等反爬蟲措施。
• 🔗 智能 URL 清理：自動清理推廣參數，同時保留關鍵信息。

📦 安裝指南

1. 安裝依賴

npm install

或者使用 pnpm：

pnpm install

2. 下載 Puppeteer 瀏覽器

npx puppeteer browsers install chrome

3. 環境配置

複製並配置環境變量文件：

cp .env.example .env

根據需要編輯 .env 文件。

4. 啟動服務

開發模式：

npm run dev

生產模式：

npm start

服務將在 http://localhost:3000 啟動。

💻 使用示例

web_search

統一搜索工具，支持網頁和新聞搜索：

• 網頁搜索：searchType: "web"
• 新聞搜索：searchType: "news"，支持時間過濾
• 注意：searchType 是必需參數，必須明確指定

示例：

# 網頁搜索
使用 web_search 工具以 searchType 為 web 搜索 "Node.js 教程"，返回 10 條結果

# 新聞搜索
使用 web_search 工具以 searchType 為 news 搜索 "科技新聞"，返回過去 24 小時內的 5 條結果

其他工具

• get_webpage_content：獲取網頁內容並轉換為指定格式
• get_webpage_source：獲取網頁的原始 HTML 源代碼
• batch_webpage_scrape：批量抓取多個網頁

📚 詳細文檔

MCP 配置

Chatbox 配置

在 Chatbox 中創建 mcp-config.json 文件：

{
  "mcpServers": {
    "spider-mcp": {
      "command": "node",
      "args": ["src/mcp/server.js"],
      "env": {
        "NODE_ENV": "production"
      },
      "description": "Spider MCP - 網頁搜索和網頁抓取工具",
      "capabilities": {
        "tools": {}
      }
    }
  }
}

其他 MCP 客戶端

{
  "mcpServers": {
    "spider-mcp": {
      "command": "node",
      "args": ["path/to/spider-mcp/src/mcp/server.js"]
    }
  }
}

重要提示

1. 反爬蟲措施：本服務採用多種技術避免被檢測，但仍需遵守 robots.txt 和使用條款。
2. 速率限制：建議合理控制請求頻率，避免對目標網站造成壓力。
3. 合法合規：使用本服務時，請確保遵守當地法律和網站使用條款。
4. 資源消耗：Puppeteer 將啟動 Chrome 瀏覽器，請關注內存和 CPU 使用情況。
5. URL 清理：自動清理推廣參數可能會影響某些特殊鏈接的功能。

項目結構

spider-mcp/
├── src/
│   ├── index.js          # 主入口文件
│   ├── mcp/
│   │   └── server.js     # MCP 服務器
│   ├── routes/           # 路由定義
│   │   ├── search.js     # 搜索路由
│   │   └── health.js     # 健康檢查路由
│   ├── services/         # 業務邏輯
│   │   └── searchService.js # 搜索服務
│   └── utils/            # 工具函數
│       └── logger.js     # 日誌工具
├── logs/                 # 日誌文件目錄
├── tests/                # 測試文件
├── package.json          # 項目配置
├── .env.example          # 環境變量示例
├── mcp-config.json       # MCP 配置示例
└── README.md             # 項目文檔

🔧 技術細節

技術棧

📄 許可證

本項目採用 MIT 許可證。

貢獻說明

歡迎提交問題和拉取請求！