Scrapling Fetch MCP

🚀 網頁抓取 MCP 服務

本項目是一個 MCP 服務器，旨在助力 AI 助手訪問實施反機器人檢測的網站上的文本內容，彌合您在瀏覽器中可見內容與 AI 可訪問內容之間的差距。

🚀 快速開始

此工具針對低體積檢索文檔和參考資料（僅限 text/HTML）進行了優化，這些文檔和參考資料來自實施反機器人檢測的網站。它尚未為通用網站抓取或數據收集而設計。

⚠️ 重要提示

該項目是在與 Claude Sonnet 3.7 合作開發的，使用了 LLM Context。

📦 安裝指南

1. 先決條件：

   • Python 3.10+
   • uv 包管理器

2. 安裝依賴項和工具：

uv tool install scrapling
scrapling install
uv tool install scrapling-fetch-mcp

💻 使用示例

🔨 使用 Claude 進行設置

將以下配置添加到您的 Claude 客戶端的 MCP 服務器配置中：

{
  "mcpServers": {
    "Cyber-Chitta": {
      "command": "uvx",
      "args": ["scrapling-fetch-mcp"]
    }
  }
}

🔍 可用工具

此包提供兩個不同的工具：

1. s-fetch-page：帶分頁支持的完整網頁檢索
2. s-fetch-pattern：使用正則表達式匹配內容並提取上下文

📖 基礎用法

檢索完整頁面

Human: 請抓取並總結文檔 https://example.com/docs

Claude: 我會幫助您完成此事。讓我抓取該文檔。

<mcp:function_calls>
<mcp:invoke name="s-fetch-page">
<mcp:parameter name="url">https://example.com/docs</mcp:parameter>
<mcp:parameter name="mode">basic</mcp:parameter>
</mcp:invoke>
</mcp:function_calls>

根據我檢索到的文檔，以下是摘要...

使用正則表達式提取特定內容

Human: 請在文檔頁面中查找所有“API 密鑰”的提及。

Claude: 我會搜索這個具體信息。

<mcp:function_calls>
<mcp:invoke name="s-fetch-pattern">
<mcp:parameter name="url">https://example.com/docs</mcp:parameter>
<mcp:parameter name="mode">basic</mcp:parameter>
<mcp:parameter name="search_pattern">API\s+keys?</mcp:parameter>
<mcp:parameter name="context_chars">150</mcp:parameter>
</mcp:invoke>
</mcp:function_calls>

我在文檔中找到了多個“API 密鑰”的提及：
...

🔧 技術細節

功能選項

• 保護級別：

  • basic：快速檢索（1 - 2 秒），但在防護嚴密的網站上的成功率較低
  • stealth：平衡保護（3 - 8 秒），適用於大多數網站
  • max-stealth：最大保護（10 + 秒），針對防護嚴密的網站

• 內容定位選項：

  • s-fetch-page：使用 start_index 和 max_length 支持分頁檢索整個頁面
  • s-fetch-pattern：使用正則表達式提取特定內容（使用 search_pattern 和 context_chars）
    • 結果包括位置信息，用於後續查詢時的 s-fetch-page

最佳實踐提示

• 從 basic 模式開始，僅在需要時升級到更高保護級別
• 處理大型文檔時，請使用 s-fetch-page 的分頁參數
• 需要查找特定信息時，請使用 s-fetch-pattern
• AI 會自動根據網站的保護級別調整其方法

侷限性

• 僅設計用於文本內容：專門針對文檔、文章和參考資料
• 不適用於高體積抓取或數據收集
• 可能無法處理需要身份驗證的網站
• 性能因網站複雜性而異

📄 許可證

Apache 2.0 許可證，詳情請見 License。