MCP Windows Website Downloader

🚀 MCP ウェブサイトダウンローダー

このツールは、簡単なMCPサーバーで、ドキュメントウェブサイトをダウンロードし、RAGインデックスの準備を行うことができます。

✨ 主な機能

• ドキュメントサイト全体、または少なくとも大部分をダウンロードします。
• 現在はまだ対応していませんが、将来的にはリンク構造とナビゲーションを維持する予定です。
• リソース（CSS、JS、画像）をダウンロードして整理しますが、AIには適していないため、すべてのコンテンツをある形式で解析またはデータベースにベクトル化する必要があります。
• RAGシステムで使用するためのクリーンなインデックスを作成します。現在は各フォルダにインデックスを作成していますが、その内容を確認していません。
• シンプルな単一用途のMCPインターフェースを提供します。

📦 インストール

リポジトリをフォークしてダウンロードし、リポジトリのディレクトリに移動します。

uv venv
./venv/Scripts/activate
pip install -e .

claude_desktop_config.json ファイルに次の内容を追加します（自分のパスに合わせて調整してください）。

   "mcp-windows-website-downloader": {
     "command": "uv",
     "args": [
       "--directory",
       "F:/GithubRepos/mcp-windows-website-downloader",
       "run",
       "mcp-windows-website-downloader",
       "--library",
       "F:/GithubRepos/mcp-windows-website-downloader/website_library"
     ]
   },

💻 使用例

基本的な使用法

1. サーバーを起動します。

python -m mcp_windows_website_downloader.server --library docs_library

2. Claude Desktopまたは他のMCPクライアントから呼び出します。

result = await server.call_tool("download", {
    "url": "https://docs.example.com"
})

📚 ドキュメント

出力構造

docs_library/
  domain_name/
    index.html
    about.html
    docs/
      getting-started.html
      ...
    assets/
      css/
      js/
      images/
      fonts/
    rag_index.json

開発

サーバーは標準的なMCPアーキテクチャに従っています。

src/
  mcp_windows_website_downloader/
    __init__.py
    server.py    # MCPサーバーの実装
    core.py      # ウェブサイトのダウンロードの核心機能
    utils.py     # 補助ツール

コンポーネント

• server.py：主なMCPサーバーの実装で、ツールの登録とリクエストを処理します。
• core.py：ウェブサイトのダウンロードの核心機能で、リソースの処理を担当します。
• utils.py：ファイル処理やURL解析などの補助ツールです。

設計原則

1. 単一責任
   • 各モジュールは明確な責任を持ちます。
   • サーバーはMCPインターフェースを処理します。
   • 核心モジュールはダウンロードを処理します。
   • ツールモジュールは一般的な操作を処理します。
2. 明確な構造
   • 元のウェブサイトの構造を維持します。
   • リソースをタイプ別に整理します。
   • RAGシステム用の明確なインデックスを作成します。
3. 堅牢な操作
   • 適切なエラー処理を行います。
   • ダウンロードの深さを制限します。
   • リソースのダウンロードを検証します。
   • URL/パスの処理を明確に行います。

RAGインデックス

rag_index.json ファイルには次の内容が含まれています。

{
  "url": "https://docs.example.com",
  "domain": "docs.example.com", 
  "pages": 42,
  "path": "/path/to/site"
}

貢献方法

1. リポジトリをフォークします。
2. 機能ブランチを作成します。
3. 変更を加えます。
4. プルリクエストを送信します。

📄 ライセンス

MITライセンス - 詳細は LICENSE ファイルを参照してください。

🔧 技術詳細

エラー処理

サーバーは以下のような一般的な問題を処理します。

• 無効なURL
• ネットワークエラー
• リソースのダウンロード失敗
• HTML形式のエラー
• ダウンロードの深さ制限 エラー応答の例：

{
  "error": {
    "code": 500,
    "message": "Internal Server Error"
  }
}

成功応答の例

{
  "status": {
    "code": 200,
    "message": "Download completed successfully"
  },
  "data": {
    "downloadedFiles": ["index.html", "about.html", "docs/getting-started.html"],
    "totalFiles": 3,
    "failedDownloads": []
  }
}