MCP Windows Website Downloader

🚀 MCP 網站下載器

MCP 網站下載器是一個簡單的 MCP 服務器，可用於下載文檔網站，併為 RAG 索引做準備，方便後續使用。

🚀 快速開始

安裝

1. 分叉並下載代碼庫，進入倉庫目錄，執行以下命令：

uv venv
./venv/Scripts/activate
pip install -e .

2. 在你的 claude_desktop_config.json 中添加以下內容（請根據你自己的路徑進行修改）：

   "mcp-windows-website-downloader": {
     "command": "uv",
     "args": [
       "--directory",
       "F:/GithubRepos/mcp-windows-website-downloader",
       "run",
       "mcp-windows-website-downloader",
       "--library",
       "F:/GithubRepos/mcp-windows-website-downloader/website_library"
     ]
   },

啟動與調用

1. 啟動服務器：

python -m mcp_windows_website_downloader.server --library docs_library

2. 通過 Claude Desktop 或其他 MCP 客戶端調用：

result = await server.call_tool("download", {
    "url": "https://docs.example.com"
})

✨ 主要特性

• 可下載完整的文檔站點，或至少較大的部分。
• 雖目前還不能維護鏈接結構和導航，但後續有優化空間。
• 能下載並組織資源（CSS、JS、圖片），不過對 AI 並不友好，所有內容可能需要某種形式的解析或向數據庫中矢量化。
• 可創建乾淨的索引以供 RAG 系統使用，當前似乎在每個文件夾中都創建了一個索引，後續可進一步優化展示。
• 擁有簡單單一用途的 MCP 接口。

📦 安裝指南

具體安裝步驟見上文快速開始部分的安裝說明。

💻 使用示例

基礎用法

# 啟動服務器
python -m mcp_windows_website_downloader.server --library docs_library

# 通過Claude Desktop或其他MCP客戶端調用
result = await server.call_tool("download", {
    "url": "https://docs.example.com"
})

📚 詳細文檔

輸出結構

docs_library/
  domain_name/
    index.html
    about.html
    docs/
      getting-started.html
      ...
    assets/
      css/
      js/
      images/
      fonts/
    rag_index.json

開發

服務器遵循標準 MCP 架構：

src/
  mcp_windows_website_downloader/
    __init__.py
    server.py    # MCP服務器實現
    core.py      # 核心網站下載功能
    utils.py     # 輔助工具

組件

• server.py：主要的 MCP 服務器實現，處理工具註冊和請求。
• core.py：核心網站下載功能，負責資源處理。
• utils.py：輔助工具，用於文件處理和 URL 解析。

設計原則

1. 單一職責
   • 每個模塊只有一個明確的責任。
   • 服務器處理 MCP 接口。
   • 核心處理下載。
   • 工具處理通用操作。
2. 清晰的結構
   • 維持原始網站結構。
   • 按類型組織資源。
   • 為 RAG 系統創建清晰索引。
3. 穩健的操作
   • 合理的錯誤處理。
   • 下載深度限制。
   • 資源下載驗證。
   • 清晰的 URL/路徑處理。

RAG 索引

rag_index.json 文件包含：

{
  "url": "https://docs.example.com",
  "domain": "docs.example.com", 
  "pages": 42,
  "path": "/path/to/site"
}

貢獻

1. 分叉倉庫。
2. 創建功能分支。
3. 進行你的修改。
4. 提交拉取請求。

錯誤處理

服務器處理常見問題：

• 無效 URL。
• 網絡錯誤。
• 資源下載失敗。
• HTML 格式錯誤。
• 下載深度限制。

錯誤響應示例：

{
  "error": {
    "code": 500,
    "message": "Internal Server Error"
  }
}

示例輸出

成功響應示例：

{
  "status": {
    "code": 200,
    "message": "Download completed successfully"
  },
  "data": {
    "downloadedFiles": ["index.html", "about.html", "docs/getting-started.html"],
    "totalFiles": 3,
    "failedDownloads": []
  }
}

📄 許可證

本項目採用 MIT License 許可協議，請參閱 LICENSE 文件獲取詳細信息。