Site Cloner

🚀 サイトクローナー MCP サーバー

このサーバーは、MCP（モデルコンテキストプロトコル）に基づいて設計されており、大規模言語モデル（Claude など）がウェブサイトをクローンするのを支援することを目的としています。このサーバーは、ウェブサイトのリソースを取得、分析、ダウンロードするためのさまざまなツールを提供します。

✨ 主な機能

• 任意の URL の HTML コンテンツを取得する
• HTML からリソース（CSS、JavaScript、画像、フォントなど）を抽出する
• 単一のリソースをローカルディレクトリにダウンロードする
• CSS ファイルを解析して、リンクされたリソース（フォント、画像）を抽出する
• サイトマップを作成する
• ページの構造とレイアウトを分析する

📦 インストール

システム要件

• Docker がインストールされていること

💻 使用例

Docker で実行する

1. Docker イメージをビルドする：

docker build -t site-cloner-mcp .

2. コンテナを起動する：

docker run -i --rm site-cloner-mcp

ダウンロードしたファイルを永続的に保存するには、ボリュームをマウントします：

docker run -i --rm -v $(pwd)/downloaded_sites:/app/downloaded_site site-cloner-mcp

Cursor と接続する

この MCP サーバーを Cursor で設定するには、2 つの方法があります。

方法 1：プロジェクト固有の設定

プロジェクトのルートディレクトリに .cursor/mcp.json ファイルを作成し、以下の内容を記述します：

{
  "mcpServers": {
    "site-cloner": {
      "command": "docker",
      "args": [
        "run",
        "-i",
        "--rm",
        "site-cloner-mcp"
      ]
    }
  }
}

方法 2：グローバル設定

Cursor で MCP サーバーをグローバルに使用するには、Cursor 設定 → MCP → 新しいグローバル MCP サーバーを追加 と進み、以下の内容を追加します：

{
  "mcpServers": {
    "site-cloner": {
      "command": "docker",
      "args": [
        "run",
        "-i",
        "--rm",
        "site-cloner-mcp"
      ]
    }
  }
}

利用可能なツール

1. fetch_page

ウェブページの HTML コンテンツを取得します。

パラメータ：
    url: 取得するウェブページの URL

2. extract_assets

HTML からリソースのリンクを抽出します。

パラメータ：
    url: ウェブページの URL（相対 URL を解決するために使用）
    html_content: 解析する HTML コンテンツ

3. download_asset

URL に基づいてリソースをダウンロードし、指定されたディレクトリに保存します。

パラメータ：
    url: リソースの URL
    directory: リソースを保存するディレクトリ

4. parse_css

CSS ファイルを解析して、リンクされたリソースを抽出します。

パラメータ：
    css_content: 解析する CSS コンテンツ

5. create_sitemap

サイトマップを作成します。

パラメータ：
    url: ウェブサイトの URL

6. analyze_page_structure

ページの構造とレイアウトを分析します。

パラメータ：
    html_content: 分析する HTML コンテンツ

トラブルシューティング

• ウェブサイトをクローンする際に問題が発生した場合は、対象のウェブサイトが自動化されたリクエストを許可しているかどうかを確認し、ユーザーエージェント文字列を調整する必要がある場合があります。
• 一部のリソースがダウンロードできない場合は、ネットワーク接続が正常であることを確認し、対象のウェブサイトにアクセス制限があるかどうかを確認してください。

⚠️ 重要提示

ダウンロードしたリソースは、タイプに応じて異なるサブディレクトリ（html、css、js、画像、フォント、ビデオ、その他）に分類されて保存されます。

💡 使用建议

ウェブサイトをクローンする際には、関連する法律や規制、およびウェブサイトの利用規約を遵守し、著作権を尊重してください。