MCP Server Webcrawl

🚀 mcp-server-webcrawl

mcp-server-webcrawl 是一款用于网页爬虫数据的高级搜索与检索工具。它能让你的 AI 客户端按照你的指令或自主地对网页内容进行过滤和分析。该服务器具备全文搜索接口，支持布尔逻辑搜索，还能根据类型、HTTP 状态等对资源进行过滤。

🚀 快速开始

mcp-server-webcrawl 是免费且开源的，使用前需安装 Claude Desktop 和 Python（版本 >=3.10）。可通过以下命令在命令行进行安装：

pip install mcp-server-webcrawl

若需查看 MCP 服务器的详细设置步骤，请参考 设置指南。

✨ 主要特性

• 支持 Claude Desktop
• 兼容多种网页爬虫
• 可根据类型、状态等进行过滤
• 支持布尔搜索
• 支持 Markdown 和代码片段
• 可创建自己的网站知识库

📦 安装指南

在命令行中使用以下命令进行安装：

pip install mcp-server-webcrawl

💻 使用示例

基础用法

在安装完成后，你可以按照以下步骤使用 mcp-server-webcrawl 进行网页爬虫数据的搜索和分析。

高级用法

你可以使用预定义的提示例程来执行特定的任务，如 SEO 审计、404 审计等。以下是一些可用的提示例程：

如果你想跳过网站选择步骤（减少一次查询），可粘贴 Markdown 内容，并在同一请求中输入 “run pasted for [网站名称或 URL]”，系统会自动处理。若粘贴时未提供额外上下文，系统会提示你从已爬取的网站列表中进行选择。

📚 详细文档

支持的爬虫/格式

mcp-server-webcrawl 支持多种爬虫和格式，具体如下：

布尔搜索语法

查询引擎支持特定字段（field: value）搜索和复杂的布尔表达式。全文搜索结合了 URL、内容和头部字段。 以下是一些示例查询：

字段搜索定义

字段搜索可提高搜索精度，允许你指定搜索索引的哪些列进行过滤。你可以将查询限制在特定属性上，如 URL、头部或内容主体，而不是搜索整个内容。这种方法在查找爬取数据中的特定属性或模式时可提高效率。

字段内容

部分字段可独立请求返回结果，而核心字段始终包含在结果中。使用 headers 和 content 字段会快速消耗令牌。请谨慎使用，或使用 extras 参数来处理更多结果以适应上下文窗口。字段是顶级参数，与查询中的任何字段搜索无关。

内容类型

爬取的数据包含除 HTML 页面之外的资源类型。type: 字段搜索允许按广泛的内容类型组进行过滤，在过滤图像时无需复杂的扩展名查询，特别有用。例如，你可以搜索 type: html NOT content: login 以查找不包含 “login” 的页面，或 type: img 以分析图像资源。以下是搜索系统支持的所有内容类型：

额外参数（Extras）

extras 参数提供了额外的处理选项，可转换 HTTP 数据（Markdown、代码片段、正则表达式、XPath），或将 LLM 连接到外部数据（缩略图）。这些选项可根据需要组合使用，以实现所需的结果格式。

额外参数提供了一种高效生成 HTTP 内容响应的方法。Markdown 生成的字节数约为源 HTML 的 1/3，代码片段每个结果通常约 500 字节，XPath 可根据需要进行具体或广泛的设置。请求越聚焦，能在 LLM 会话中处理的结果就越多。

当然，理想情况下，LLM 会为你处理这些。如果你发现 LLM 倾向于使用 “content” 字段（完整 HTML），在聊天中提示使用 extras 功能来管理令牌预算即可。