Web Crawler MCP Server

🚀 网页爬虫 MCP 服务器

本项目是一个模型上下文协议（MCP）服务器，它提供了网络爬取和内容提取功能，可适配 Claude Desktop、Cursor 等与 MCP 兼容的客户端 AI 助手，有效解决了从网页获取文本信息并处理的问题，为 AI 助手提供了高质量的文本输入。

🚀 快速开始

本网页爬虫 MCP 服务器可轻松为与 MCP 兼容的客户端 AI 助手提供网页文本内容。你可以按照以下步骤启动服务器：

node build/index.js

或者在客户端（如 Claude Desktop）中将其配置为 MCP 服务器：

{
  "mcpServers": {
    "web-crawler-mcp": {
      "command": "node",
      "args": ["<absolute-path-to>/server/web_crawler/build/index.js"]
    }
  }
}

✨ 主要特性

• 能够从任意公共网页中提取主要文本内容，并进行清理。
• 借助 Puppeteer 搭配 _stealth 插件，可有效绕过反机器人保护机制。
• 返回的文本可读性强，空白已标准化，适合大语言模型（LLM）使用。
• 便于与 Claude Desktop 等其他 MCP 兼容客户端进行集成。

📦 安装指南

先决条件

• Node.js（版本需为 v16 或更高）
• MCP 兼容客户端（例如，Claude Desktop、Cursor）
• （可选）某些 Linux 环境下需安装 Puppeteer 依赖项

安装步骤

1. 安装项目依赖：

   npm install
   

2. 构建服务器：

   npm run build
   

💻 使用示例

基础用法

你可以使用网页爬虫工具提取指定 URL 的清理后的文本内容。以下是一个使用示例：

{
  "tool_name": "web-crawler",
  "arguments": {
    "url": "https://openai.com/news"
  }
}

📚 详细文档

可用工具

网页爬虫

• 描述：提取并返回指定 URL 的清理后的文本内容。
• 输入：
  • url（字符串，必需）：要提取内容的 URL。

开发相关

• npm run build：将 TypeScript 代码编译为 JavaScript。
• npm run watch：监控代码更改并实时重新构建。
• npm run inspector：启动 MCP 检查器进行调试。

🔧 技术细节

• 服务器会启动一个真实的浏览器实例（headless: false），以确保最佳兼容性。
• 输出为纯文本格式，非常适合作为 LLM 的输入。
• 若需要进行高级解析，可修改 src/index.ts 中的 Cheerio 逻辑。

注意

⚠️ 重要提示

• 服务器启动一个真实的浏览器实例 (headless: false) 以获得最佳兼容性。
• 输出为纯文本，适合 LLM 输入。
• 对于高级解析，修改 src/index.ts 中的 Cheerio 逻辑。

📄 许可证

本项目采用 MIT 许可证。