Markdown Web Crawl

🚀 MD サイトクローラープロジェクト（MCPプロトコルベース）

このプロジェクトは、Python をベースとした MCP プロトコル（https://modelcontextprotocol.io/introduction）のウェブクローラーです。ウェブサイトの内容を抽出し、保存することができます。

✨ 主な機能

• ウェブサイトの内容を抽出し、Markdown ファイル形式で保存する
• ウェブサイトの構造とリンクをマッピングする
• 複数の URL を一括で処理する
• 出力ディレクトリを設定可能

📦 インストール

1. リポジトリをクローンします：

git clone https://github.com/yourusername/webcrawler.git
cd webcrawler

2. 依存関係をインストールします：

pip install -r requirements.txt

3. オプション：環境変数を設定します：

export OUTPUT_PATH=./output  # 好みの出力ディレクトリを設定

📚 ドキュメント

出力結果

クロールした内容は、指定された出力ディレクトリに Markdown 形式で保存されます。

設定オプション

環境変数を使用してサーバーを設定できます：

Claude 設定

FastMCP を使用してサーバーをインストールします： fastmcp install server.py

または、カスタム設定で直接実行します：

{
      "Crawl Server": {
        "command": "fastmcp",
        "args": [
          "run",
          "/Users/mm22/Dev_Projekte/servers-main/src/Webcrawler/server.py"
        ],
        "env": {
          "OUTPUT_PATH": "/Users/user/Webcrawl"
        }
      }

開発ガイド

リアルタイム開発

fastmcp dev server.py --with-editable .

デバッグ

https://modelcontextprotocol.io/docs/tools/inspector ツールを使用してデバッグすることをおすすめします。

💻 使用例

基本的な使用法

例 1：内容を抽出して保存する

mcp call extract_content --url "https://example.com" --output_path "example.md"

例 2：内容インデックスを作成する

mcp call scan_linked_content --url "https://example.com" | \
  mcp call create_index --content_map - --output_path "index.md"

🔧 貢献ガイド

1. リポジトリをフォークします。
2. 機能ブランチを作成します (git checkout -b feature/AmazingFeature)。
3. 変更をコミットします (git commit -m 'Add some AmazingFeature')。
4. ブランチにプッシュします (git push origin feature/AmazingFeature)。
5. プルリクエストを提出します。

📄 ライセンス

このプロジェクトは MIT ライセンスの下で公開されています。詳細については、LICENSE ファイルを参照してください。

依存関係

• Python 3.7+
• FastMCP（uv pip install fastmcp）
• requirements.txt に記載されているその他の依存関係