Mcpserver

🚀 Web Scraper MCP Server

基於 Model Context Protocol (MCP) 的 TypeScript 網頁爬取服務器，內置多種常用爬取與命令工具，能高效完成各類網頁內容的爬取任務。

🚀 快速開始

本項目是基於 Model Context Protocol (MCP) 的 TypeScript 網頁爬取服務器。它內置了多種常用的爬取與命令工具，助您輕鬆完成網頁內容的爬取與處理。

安裝

# 克隆項目
git clone <repository-url>
cd web-scraper-mcp

# 安裝依賴
npm install

# 構建項目
npm run build

啟動服務器

npm start

✨ 主要特性

• 🚀 多種導出格式：支持將爬取內容導出為 Markdown、Text、HTML 和 JSON 格式，滿足多樣化的使用需求。
• 🎭 Puppeteer 無頭瀏覽器：有效解決未實現靜態化的 SPA 單頁應用渲染問題。
• 📋 規則集支持：支持設置規則集，精準抓取網頁的特定部分內容。
• 🔧 自定義域名 Headers：支持設置自定義域名 Headers，輕鬆繞過網站登錄限制。
• 📦 批量爬取：支持同時爬取多個 URL，提升爬取效率。
• 🎯 智能內容提取：自動識別和提取網頁主要內容。

📦 安裝指南

# 克隆項目
git clone <repository-url>
cd web-scraper-mcp

# 安裝依賴
npm install

# 構建項目
npm run build

💻 使用示例

啟動服務器

npm start

可用工具

1. scrape_url - 爬取單個網頁

{
  "name": "scrape_url",
  "arguments": {
    "url": "https://example.com",
    "format": "markdown",
    "usePuppeteer": false,
    "ruleSet": "blog",
    "customHeaders": {
      "Authorization": "Bearer token"
    }
  }
}

參數說明：

• url（必需）：要爬取的網頁 URL。
• format（可選）：導出格式，支持 markdown、text、html、json，默認為 markdown。
• usePuppeteer（可選）：是否使用 Puppeteer 無頭瀏覽器，默認為 false。
• ruleSet（可選）：規則集名稱，用於提取特定內容。
• customHeaders（可選）：自定義請求頭。

2. create_rule_set - 創建內容提取規則集

{
  "name": "create_rule_set",
  "arguments": {
    "name": "my_blog_rule",
    "rules": {
      "title": "h1, .post-title",
      "content": ".post-content, article",
      "links": ".post-content a",
      "images": ".post-content img",
      "exclude": ["nav", "footer", ".sidebar"]
    }
  }
}

參數說明：

• name（必需）：規則集名稱。
• rules（必需）：提取規則配置。
  • title：標題選擇器。
  • content：內容選擇器。
  • links：鏈接選擇器。
  • images：圖片選擇器。
  • exclude：要排除的選擇器列表。

3. set_domain_headers - 設置域名請求頭

{
  "name": "set_domain_headers",
  "arguments": {
    "domain": "example.com",
    "headers": {
      "Authorization": "Bearer your-token",
      "X-Custom-Header": "custom-value"
    }
  }
}

4. batch_scrape - 批量爬取

{
  "name": "batch_scrape",
  "arguments": {
    "urls": [
      "https://example1.com",
      "https://example2.com",
      "https://example3.com"
    ],
    "format": "markdown",
    "usePuppeteer": false,
    "ruleSet": "blog"
  }
}

預定義規則集

系統內置了以下規則集：

• blog：適用於大多數博客文章頁面。
• news：適用於新聞網站文章。
• product：適用於電商產品頁面。
• documentation：適用於技術文檔頁面。
• forum：適用於論壇帖子頁面。

導出格式

Markdown

將網頁內容轉換為 Markdown 格式，包含標題、內容、鏈接和圖片。

Text

純文本格式，去除所有 HTML 標籤。

HTML

清理後的 HTML 格式，移除腳本和樣式。

JSON

完整的結構化數據，包含所有提取的信息。

📚 詳細文檔

項目結構

src/
├── index.ts              # 主服務器文件
├── scraper/
│   └── webScraper.ts     # 網頁爬取器
├── export/
│   └── exportManager.ts  # 導出管理器
├── rules/
│   └── ruleEngine.ts     # 規則引擎
├── headers/
│   └── headerManager.ts  # 請求頭管理器
└── utils/
    └── logger.ts         # 日誌工具

開發模式

# 監聽文件變化並自動重新構建
npm run dev

測試

npm test

配置

環境變量

• LOG_LEVEL：日誌級別 (debug, info, warn, error)。
• PUPPETEER_TIMEOUT：Puppeteer 超時時間（毫秒）。
• REQUEST_TIMEOUT：HTTP 請求超時時間（毫秒）。

自定義配置

可以通過修改源代碼來自定義：

1. 默認請求頭：編輯 src/headers/headerManager.ts。
2. 預定義規則集：編輯 src/rules/ruleEngine.ts。
3. 導出格式：編輯 src/export/exportManager.ts。

常見問題

Q：為什麼某些網站爬取失敗？

A：可能是因為網站有反爬蟲機制。嘗試：

1. 使用 usePuppeteer: true 啟用無頭瀏覽器。
2. 設置合適的自定義請求頭。
3. 使用預定義的反檢測請求頭。

Q：如何處理需要登錄的網站？

A：使用 set_domain_headers 工具設置包含認證信息的請求頭，如 Cookie 或 Authorization。

Q：SPA 應用內容為空怎麼辦？

A：設置 usePuppeteer: true 使用 Puppeteer 渲染動態內容。

📄 許可證

MIT License

貢獻

歡迎提交 Issue 和 Pull Request！