Docs Fetch MCP

🚀 文檔抓取 MCP 服務器

文檔抓取 MCP 服務器是一個用於抓取網頁內容的工具，具備遞歸探索能力。它能讓大型語言模型（LLMs）自主探索網頁和文檔，從而學習特定主題。

🚀 快速開始

文檔抓取 MCP 服務器提供了一種簡單且強大的方法來檢索和探索網頁內容。它可以抓取乾淨、可讀的網頁內容，具備遞歸探索鏈接頁面的功能，能在同一域名內遍歷鏈接以獲取全面信息，還能智能過濾導航鏈接，專注於內容豐富的頁面。此工具適用於希望 LLM 通過探索文檔或網頁內容來學習特定主題的場景。

✨ 主要特性

• 內容提取：能幹淨地從網頁中提取主要內容，去除導航、廣告和無關元素等干擾項。
• 鏈接分析：識別並提取頁面中的鏈接，評估其相關性。
• 遞歸探索：遍歷同一域名內的相關鏈接內容，深度限制在指定範圍內。
• 並行處理：高效地進行內容抓取，支持併發請求及錯誤處理。
• 健壯的錯誤處理：優雅地處理網絡問題、超時和格式不正確頁面。
• 雙策略方法：首先使用快速 axios 請求，對於更復雜的頁面則以 puppeteer 作為備用方案。
• 防止超時：實現全局超時處理，確保在 MCP 時間限制內可靠運行。
• 部分結果：即使某些頁面未能完全加載，仍可返回已獲取的內容。

💻 使用示例

基礎用法

服務器公開了一個單一的 MCP 工具：fetch_doc_content，用於抓取網頁內容並具備遞歸探索鏈接頁面的功能。

參數：

• url (字符串, 必填)：要抓取的網頁 URL。
• depth (數字, 可選, 默認值: 1)：目錄/鏈接探索的最大深度（1 - 5）。

返回：

{
  "rootUrl": "https://example.com/docs",
  "explorationDepth": 2,
  "pagesExplored": 5,
  "content": [
    {
      "url": "https://example.com/docs",
      "title": "Documentation",
      "content": "Main page content...",
      "links": [
        {
          "url": "https://example.com/docs/topic1",
          "text": "Topic 1"
        },
        ...
      ]
    },
    ...
  ]
}

📦 安裝指南

1. 克隆此倉庫：

git clone https://github.com/wolfyy970/docs-fetch-mcp.git
cd docs-fetch-mcp

2. 安裝依賴項：

npm install

3. 構建項目：

npm run build

4. 配置您的 MCP 設置在您的 Claude 客戶端中：

{
  "mcpServers": {
    "docs-fetch": {
      "command": "node",
      "args": [
        "/path/to/docs-fetch-mcp/build/index.js"
      ],
      "env": {
        "MCP_TRANSPORT": "pipe"
      }
    }
  }
}

🔧 技術細節

依賴項

開發模式

要以開發模式運行服務器，可使用以下命令：

npm run dev

📄 許可證

本項目採用 MIT 許可證。