Site Cloner

🚀 網站克隆器 MCP 服務器

這是一個基於 MCP（模型上下文協議）設計的服務器，旨在助力大語言模型（如 Claude）實現網站克隆。該服務器提供了多種實用工具，可用於抓取、分析和下載網站資源。

🚀 快速開始

系統需求

• 已安裝 Docker

通過 Docker 運行

1. 構建 Docker 鏡像：

   docker build -t site-cloner-mcp .
   

2. 啟動容器：

   docker run -i --rm site-cloner-mcp
   

為了實現下載文件的持久化存儲，可以掛載卷：

docker run -i --rm -v $(pwd)/downloaded_sites:/app/downloaded_site site-cloner-mcp

與 Cursor 連接

要在 Cursor 中設置此 MCP 服務器，有兩種方法：

方法 1：項目特定配置

在項目根目錄中創建 .cursor/mcp.json 文件，內容如下：

{
  "mcpServers": {
    "site-cloner": {
      "command": "docker",
      "args": [
        "run",
        "-i",
        "--rm",
        "site-cloner-mcp"
      ]
    }
  }
}

方法 2：全局配置

要在 Cursor 中全局使用 MCP 服務器，前往 Cursor 設置 → MCP → 添加新的全局 MCP 服務器，添加以下內容：

{
  "mcpServers": {
    "site-cloner": {
      "command": "docker",
      "args": [
        "run",
        "-i",
        "--rm",
        "site-cloner-mcp"
      ]
    }
  }
}

✨ 主要特性

• 抓取任意 URL 的 HTML 內容
• 從 HTML 中提取資源（CSS、JavaScript、圖片、字體等）
• 將單個資源下載到本地目錄中
• 解析 CSS 文件以提取鏈接的資源（字體、圖片）
• 創建網站地圖
• 分析頁面結構和佈局

💻 使用示例

基礎用法

以下是通過 Docker 構建和運行該服務器的基礎命令：

# 構建 Docker 鏡像
docker build -t site-cloner-mcp .

# 啟動容器
docker run -i --rm site-cloner-mcp

高級用法

為了實現下載文件的持久化存儲，可以掛載卷：

docker run -i --rm -v $(pwd)/downloaded_sites:/app/downloaded_site site-cloner-mcp

📚 詳細文檔

可用工具

1. fetch_page

抓取網頁的 HTML 內容。

參數：
    url: 要抓取的網頁 URL

2. extract_assets

從 HTML 中提取資源鏈接。

參數：
    url: 網頁的 URL（用於解析相對 URL）
    html_content: 要解析的 HTML 內容

3. download_asset

根據 URL 下載資源並保存到指定目錄。

參數：
    url: 資源的 URL
    directory: 要保存資源的目錄

4. parse_css

解析 CSS 文件以提取鏈接的資源。

參數：
    css_content: 要解析的 CSS 內容

5. create_sitemap

創建網站地圖。

參數：
    url: 網站的 URL

6. analyze_page_structure

分析頁面結構和佈局。

參數：
    html_content: 要分析的 HTML 內容

⚠️ 重要提示

• 如果在克隆網站時遇到問題，請檢查目標網站是否允許自動化請求，可能需要調整用戶代理字符串。
• 如果某些資源無法下載，請確保網絡連接正常，並檢查目標網站是否有訪問限制。

💡 使用建議

• 下載的資源會根據類型分類存儲到不同的子目錄（html、css、js、圖片、字體、視頻、其他）。
• 克隆網站時，請遵守相關法律法規和網站的服務條款，尊重版權。