Spider MCP

🚀 Spider MCP - 網頁搜索爬蟲服務

Spider MCP 是一個基於純爬蟲技術構建的網頁搜索 MCP 服務，採用 Node.js 搭建，能夠在不依賴官方 API 的情況下，實現網頁和新聞的智能搜索。

✨ 主要特性

• ❌ 無需官方 API：完全基於爬蟲技術，不依賴第三方官方 API。
• 🔍 智能搜索：支持 Bing 網頁和新聞搜索。
• 📰 新聞搜索：內置新聞搜索功能，支持時間過濾。
• 🕷️ 純爬蟲實現：不依賴官方 API，使用 Puppeteer 進行網頁抓取。
• 🚀 高性能：支持批量網頁抓取。
• 📊 健康監控：具備完整的健康檢查和指標監控功能。
• 📝 結構化日誌：使用 Winston 進行結構化日誌記錄。
• 🔒 反檢測機制：支持 User-Agent 輪換等反爬蟲措施。
• 🔗 智能 URL 清理：自動清理推廣參數，同時保留關鍵信息。

📦 安裝指南

1. 安裝依賴

npm install

或者使用 pnpm：

pnpm install

2. 下載 Puppeteer 瀏覽器

npx puppeteer browsers install chrome

3. 環境配置

複製並配置環境變量文件：

cp .env.example .env

根據需求編輯 .env 文件。

4. 啟動服務

開發模式：

npm run dev

生產模式：

npm start

服務將在 http://localhost:3000 啟動。

💻 使用示例

基礎用法

web_search

web_search 是一個統一的搜索工具，支持網頁和新聞搜索：

• 網頁搜索：searchType: "web"
• 新聞搜索：searchType: "news"，支持時間過濾
• 注意：searchType 是必需參數，必須明確指定

# 網頁搜索
使用 web_search 工具以 searchType 為 web 搜索 "Node.js 教程"，返回 10 條結果

# 新聞搜索
使用 web_search 工具以 searchType 為 news 搜索 "科技新聞"，返回過去 24 小時內的 5 條結果

高級用法

除了 web_search 工具，還有其他實用工具：

• get_webpage_content：獲取網頁內容並轉換為指定格式
• get_webpage_source：獲取網頁的原始 HTML 源代碼
• batch_webpage_scrape：批量抓取多個網頁

📚 詳細文檔

MCP 配置

Chatbox 配置

在 Chatbox 中創建 mcp-config.json 文件：

{
  "mcpServers": {
    "spider-mcp": {
      "command": "node",
      "args": ["src/mcp/server.js"],
      "env": {
        "NODE_ENV": "production"
      },
      "description": "Spider MCP - 網頁搜索和網頁抓取工具",
      "capabilities": {
        "tools": {}
      }
    }
  }
}

其他 MCP 客戶端

{
  "mcpServers": {
    "spider-mcp": {
      "command": "node",
      "args": ["path/to/spider-mcp/src/mcp/server.js"]
    }
  }
}

技術棧

• Node.js (>= 18.0.0)
• Express.js - Web 框架
• Puppeteer - 瀏覽器自動化工具
• Cheerio - HTML 解析器
• Axios - HTTP 客戶端
• Winston - 日誌記錄工具
• @modelcontextprotocol/sdk - MCP 協議支持

項目結構

spider-mcp/
├── src/
│   ├── index.js          # 主入口文件
│   ├── mcp/
│   │   └── server.js     # MCP 服務器
│   ├── routes/           # 路由定義
│   │   ├── search.js     # 搜索路由
│   │   └── health.js     # 健康檢查路由
│   ├── services/         # 業務邏輯
│   │   └── searchService.js # 搜索服務
│   └── utils/            # 工具函數
│       └── logger.js     # 日誌工具
├── logs/                 # 日誌文件目錄
├── tests/                # 測試文件
├── package.json          # 項目配置
├── .env.example          # 環境變量示例
├── mcp-config.json       # MCP 配置示例
└── README.md             # 項目文檔

🔧 技術細節

本項目使用 Node.js 作為基礎運行環境，結合 Express.js 搭建 Web 服務。在網頁抓取方面，採用 Puppeteer 模擬瀏覽器行為，實現對網頁的自動化訪問和數據提取。同時，使用 Cheerio 對抓取到的 HTML 內容進行解析，方便提取所需信息。Axios 用於處理 HTTP 請求，確保數據的高效傳輸。Winston 則負責記錄項目運行過程中的各種日誌，便於問題排查和系統監控。

⚠️ 重要提示

1. 反爬蟲措施：本服務採用多種技術避免被檢測，但仍需遵守 robots.txt 和網站使用條款。
2. 頻率限制：建議合理控制請求頻率，避免對目標網站造成壓力。
3. 法律合規：使用本服務時，請確保遵守當地法律法規和網站使用條款。
4. 資源消耗：Puppeteer 會啟動 Chrome 瀏覽器，請留意內存和 CPU 使用情況。
5. URL 清理：自動清理推廣參數可能會影響部分特殊鏈接的功能。

📄 許可證

本項目採用 MIT 許可證。

貢獻

歡迎提交問題和拉取請求！