Site Cloner

🚀 网站克隆器 MCP 服务器

这是一个基于 MCP（模型上下文协议）设计的服务器，旨在助力大语言模型（如 Claude）实现网站克隆。该服务器提供了多种实用工具，可用于抓取、分析和下载网站资源。

🚀 快速开始

系统需求

• 已安装 Docker

通过 Docker 运行

1. 构建 Docker 镜像：

   docker build -t site-cloner-mcp .
   

2. 启动容器：

   docker run -i --rm site-cloner-mcp
   

为了实现下载文件的持久化存储，可以挂载卷：

docker run -i --rm -v $(pwd)/downloaded_sites:/app/downloaded_site site-cloner-mcp

与 Cursor 连接

要在 Cursor 中设置此 MCP 服务器，有两种方法：

方法 1：项目特定配置

在项目根目录中创建 .cursor/mcp.json 文件，内容如下：

{
  "mcpServers": {
    "site-cloner": {
      "command": "docker",
      "args": [
        "run",
        "-i",
        "--rm",
        "site-cloner-mcp"
      ]
    }
  }
}

方法 2：全局配置

要在 Cursor 中全局使用 MCP 服务器，前往 Cursor 设置 → MCP → 添加新的全局 MCP 服务器，添加以下内容：

{
  "mcpServers": {
    "site-cloner": {
      "command": "docker",
      "args": [
        "run",
        "-i",
        "--rm",
        "site-cloner-mcp"
      ]
    }
  }
}

✨ 主要特性

• 抓取任意 URL 的 HTML 内容
• 从 HTML 中提取资源（CSS、JavaScript、图片、字体等）
• 将单个资源下载到本地目录中
• 解析 CSS 文件以提取链接的资源（字体、图片）
• 创建网站地图
• 分析页面结构和布局

💻 使用示例

基础用法

以下是通过 Docker 构建和运行该服务器的基础命令：

# 构建 Docker 镜像
docker build -t site-cloner-mcp .

# 启动容器
docker run -i --rm site-cloner-mcp

高级用法

为了实现下载文件的持久化存储，可以挂载卷：

docker run -i --rm -v $(pwd)/downloaded_sites:/app/downloaded_site site-cloner-mcp

📚 详细文档

可用工具

1. fetch_page

抓取网页的 HTML 内容。

参数：
    url: 要抓取的网页 URL

2. extract_assets

从 HTML 中提取资源链接。

参数：
    url: 网页的 URL（用于解析相对 URL）
    html_content: 要解析的 HTML 内容

3. download_asset

根据 URL 下载资源并保存到指定目录。

参数：
    url: 资源的 URL
    directory: 要保存资源的目录

4. parse_css

解析 CSS 文件以提取链接的资源。

参数：
    css_content: 要解析的 CSS 内容

5. create_sitemap

创建网站地图。

参数：
    url: 网站的 URL

6. analyze_page_structure

分析页面结构和布局。

参数：
    html_content: 要分析的 HTML 内容

⚠️ 重要提示

• 如果在克隆网站时遇到问题，请检查目标网站是否允许自动化请求，可能需要调整用户代理字符串。
• 如果某些资源无法下载，请确保网络连接正常，并检查目标网站是否有访问限制。

💡 使用建议

• 下载的资源会根据类型分类存储到不同的子目录（html、css、js、图片、字体、视频、其他）。
• 克隆网站时，请遵守相关法律法规和网站的服务条款，尊重版权。