MCP Server Webcrawl

🚀 mcp-server-webcrawl

mcp-server-webcrawl 是一款用于网页爬虫数据的高级搜索与检索工具。借助该工具，你的 AI 客户端能够按照你的指令或自主对网页内容进行过滤和分析。服务器提供了支持布尔搜索的全文搜索接口，还能根据类型、HTTP 状态等对资源进行过滤。

网站 | GitHub | 文档 | PyPi

🚀 快速开始

mcp-server-webcrawl 是免费开源的，需要 Claude Desktop 和 Python（>=3.10）。可以通过以下命令行使用 pip 进行安装：

pip install mcp-server-webcrawl

如需查看 MCP 服务器的详细设置步骤，请参考 设置指南。

✨ 主要特性

• 支持 Claude Desktop
• 兼容多种爬虫工具
• 可根据类型、状态等进行过滤
• 支持布尔搜索
• 支持 Markdown 和代码片段
• 可构建自己的网站知识库

📦 安装指南

mcp-server-webcrawl 可通过 pip 进行安装，命令如下：

pip install mcp-server-webcrawl

💻 使用示例

基础用法

使用 mcp-server-webcrawl 进行简单的全文搜索，例如搜索包含 "privacy" 的内容：

# 假设这里有调用 mcp-server-webcrawl 进行搜索的命令示例
# 由于原文档未给出具体代码调用示例，这里仅作示意
# mcp-server-webcrawl --query "privacy"

高级用法

使用布尔搜索语法进行复杂搜索，例如搜索包含 "privacy" 且包含 "policy" 的内容：

# 假设这里有调用 mcp-server-webcrawl 进行布尔搜索的命令示例
# 由于原文档未给出具体代码调用示例，这里仅作示意
# mcp-server-webcrawl --query "privacy AND policy"

📚 详细文档

支持的爬虫工具

mcp-server-webcrawl 支持多种爬虫工具和格式，具体如下：

提示例程

mcp-server-webcrawl 提供了一系列提示例程，可用于执行各种任务，如审计、搜索测试等。以下是一些可用的提示例程：

布尔搜索语法

查询引擎支持特定字段（field: value）搜索和复杂的布尔表达式。全文搜索支持将 url、content 和 headers 字段组合使用。以下是一些查询示例：

字段搜索定义

字段搜索提供了搜索精度，允许你指定搜索索引的哪些列进行过滤。你可以将查询限制在特定属性，如 URL、头部或内容主体，而不是搜索整个内容。这种方法在查找爬取数据中的特定属性或模式时提高了效率。

字段内容

部分字段可以独立请求结果，而核心字段始终可用。使用 headers 和 content 字段可能会快速消耗令牌。请谨慎使用，或使用 extras 参数以在上下文窗口中处理更多结果。字段是顶级参数，与查询中进行的任何字段搜索无关。

内容类型

爬取的数据包含除 HTML 页面之外的资源类型。type: 字段搜索允许按广泛的内容类型组进行过滤，在过滤图像时特别有用，无需复杂的扩展名查询。例如，你可以搜索 type: html NOT content: login 以查找不包含 "login" 的页面，或 type: img 以分析图像资源。以下是搜索系统支持的所有内容类型：

额外参数

extras 参数提供了额外的处理选项，可转换 HTTP 数据（Markdown、代码片段、正则表达式、XPath），或将 LLM 连接到外部数据（缩略图）。这些选项可以根据需要组合使用，以实现所需的结果格式。

额外参数提供了一种生成高效令牌的 HTTP 内容响应的方法。Markdown 生成的字节数约为源 HTML 的 1/3，代码片段每个结果通常约为 500 字节，XPath 可以根据需要进行具体或广泛的选择。你的请求越聚焦，就可以在 LLM 会话中处理更多结果。

当然，理想情况下，LLM 会为你处理这些。如果你注意到你的 LLM 倾向于使用 "content" 字段（完整 HTML），只需在聊天中提示使用 extras 功能来管理令牌预算即可。