Web Crawler MCP Server

🚀 網頁爬蟲 MCP 服務器

本項目是一個模型上下文協議（MCP）服務器，提供了網絡爬取和內容提取功能。它適用於 Claude Desktop、Cursor 以及其他與 MCP 兼容的客戶端 AI 助手，能幫助用戶從網頁中提取有用信息。

✨ 主要特性

• 可從任何公共網頁中提取並清理主要文本內容。
• 運用 Puppeteer 加上_stealth 插件，有效繞過反機器人保護。
• 返回格式規範、可讀性強的文本，方便大語言模型（LLM）使用。
• 能輕鬆集成到 Claude Desktop 和其他 MCP 兼容客戶端中。

📦 安裝指南

先決條件

• Node.js（v16 或更高版本）
• MCP 兼容客戶端（例如，Claude Desktop、Cursor）
• （可選）某些 Linux 環境的 Puppeteer 依賴項

安裝步驟

1. 安裝依賴：

npm install

2. 構建服務器：

npm run build

💻 使用示例

基礎用法

你可以直接運行服務器：

node build/index.js

或在你的客戶端中配置它作為 MCP 服務器（例如，Claude Desktop）：

{
  "mcpServers": {
    "web-crawler-mcp": {
      "command": "node",
      "args": ["<absolute-path-to>/server/web_crawler/build/index.js"]
    }
  }
}

高級用法

網頁爬蟲工具

描述：提取並返回指定 URL 的清理後的文本內容。 輸入：

• url (字符串，必需)：要提取內容的 URL。

示例：

{
  "tool_name": "web-crawler",
  "arguments": {
    "url": "https://openai.com/news"
  }
}

📚 詳細文檔

開發相關命令

• npm run build：將 TypeScript 編譯為 JavaScript。
• npm run watch：監控並即時重新構建更改內容。
• npm run inspector：啟動 MCP 檢查器進行調試。

🔧 技術細節

• 服務器啟動一個真實的瀏覽器實例 (headless: false) 以獲得最佳兼容性。
• 輸出為純文本，適合 LLM 輸入。
• 對於高級解析，可修改 src/index.ts 中的 Cheerio 邏輯。

📄 許可證

本項目採用 MIT 許可證。