MCP Server Webcrawl

🚀 mcp-server-webcrawl

mcp-server-webcrawl 是一款用於網頁爬蟲數據的高級搜索與檢索工具。藉助該工具，你的 AI 客戶端能夠按照你的指令或自主對網頁內容進行過濾和分析。服務器提供了支持布爾搜索的全文搜索接口，還能根據類型、HTTP 狀態等對資源進行過濾。

網站 | GitHub | 文檔 | PyPi

🚀 快速開始

mcp-server-webcrawl 是免費開源的，需要 Claude Desktop 和 Python（>=3.10）。可以通過以下命令行使用 pip 進行安裝：

pip install mcp-server-webcrawl

如需查看 MCP 服務器的詳細設置步驟，請參考 設置指南。

✨ 主要特性

• 支持 Claude Desktop
• 兼容多種爬蟲工具
• 可根據類型、狀態等進行過濾
• 支持布爾搜索
• 支持 Markdown 和代碼片段
• 可構建自己的網站知識庫

📦 安裝指南

mcp-server-webcrawl 可通過 pip 進行安裝，命令如下：

pip install mcp-server-webcrawl

💻 使用示例

基礎用法

使用 mcp-server-webcrawl 進行簡單的全文搜索，例如搜索包含 "privacy" 的內容：

# 假設這裡有調用 mcp-server-webcrawl 進行搜索的命令示例
# 由於原文檔未給出具體代碼調用示例，這裡僅作示意
# mcp-server-webcrawl --query "privacy"

高級用法

使用布爾搜索語法進行復雜搜索，例如搜索包含 "privacy" 且包含 "policy" 的內容：

# 假設這裡有調用 mcp-server-webcrawl 進行布爾搜索的命令示例
# 由於原文檔未給出具體代碼調用示例，這裡僅作示意
# mcp-server-webcrawl --query "privacy AND policy"

📚 詳細文檔

支持的爬蟲工具

mcp-server-webcrawl 支持多種爬蟲工具和格式，具體如下：

提示例程

mcp-server-webcrawl 提供了一系列提示例程，可用於執行各種任務，如審計、搜索測試等。以下是一些可用的提示例程：

布爾搜索語法

查詢引擎支持特定字段（field: value）搜索和複雜的布爾表達式。全文搜索支持將 url、content 和 headers 字段組合使用。以下是一些查詢示例：

字段搜索定義

字段搜索提供了搜索精度，允許你指定搜索索引的哪些列進行過濾。你可以將查詢限制在特定屬性，如 URL、頭部或內容主體，而不是搜索整個內容。這種方法在查找爬取數據中的特定屬性或模式時提高了效率。

字段內容

部分字段可以獨立請求結果，而核心字段始終可用。使用 headers 和 content 字段可能會快速消耗令牌。請謹慎使用，或使用 extras 參數以在上下文窗口中處理更多結果。字段是頂級參數，與查詢中進行的任何字段搜索無關。

內容類型

爬取的數據包含除 HTML 頁面之外的資源類型。type: 字段搜索允許按廣泛的內容類型組進行過濾，在過濾圖像時特別有用，無需複雜的擴展名查詢。例如，你可以搜索 type: html NOT content: login 以查找不包含 "login" 的頁面，或 type: img 以分析圖像資源。以下是搜索系統支持的所有內容類型：

額外參數

extras 參數提供了額外的處理選項，可轉換 HTTP 數據（Markdown、代碼片段、正則表達式、XPath），或將 LLM 連接到外部數據（縮略圖）。這些選項可以根據需要組合使用，以實現所需的結果格式。

額外參數提供了一種生成高效令牌的 HTTP 內容響應的方法。Markdown 生成的字節數約為源 HTML 的 1/3，代碼片段每個結果通常約為 500 字節，XPath 可以根據需要進行具體或廣泛的選擇。你的請求越聚焦，就可以在 LLM 會話中處理更多結果。

當然，理想情況下，LLM 會為你處理這些。如果你注意到你的 LLM 傾向於使用 "content" 字段（完整 HTML），只需在聊天中提示使用 extras 功能來管理令牌預算即可。