Docs Fetch MCP

🚀 ドキュメントフェッチMCPサーバー

このサーバーは、ウェブページの内容を取得し、再帰的に探索する機能を備えたモデルコンテキストプロトコル（MCP）サーバーです。大型言語モデル（LLMs）が特定のトピックを学習するために、ウェブページやドキュメントを自主的に探索できるようにします。

🚀 クイックスタート

ドキュメントフェッチMCPサーバーは、ウェブページの内容を取得し探索するためのシンプルで強力な方法を提供します。以下のようなことが可能です。

• 任意のウェブページからクリーンで読みやすい内容を取得
• 指定された範囲内で再帰的にリンク先のページを探索
• 同一ドメイン内のリンクをたどり、包括的な情報を取得
• ナビゲーションリンクをスマートにフィルタリングし、内容が豊富なページに集中

このツールは、LLMがドキュメントやウェブページの内容を探索して特定のトピックを学習する場合に特に有用です。

✨ 主な機能

• 内容抽出：ウェブページからナビゲーション、広告、無関係な要素などの干渉を取り除き、主要な内容をクリーンに抽出
• リンク分析：ページ内のリンクを識別し抽出し、その関連性を評価
• 再帰的探索：指定された範囲内で同一ドメイン内の関連リンクの内容をたどる
• 並列処理：内容の取得を効率的に行い、並行リクエストとエラー処理をサポート
• 堅牢なエラー処理：ネットワーク問題、タイムアウト、形式が正しくないページを適切に処理
• 二重戦略方式：まず高速なaxiosリクエストを使用し、より複雑なページにはpuppeteerをバックアップとして使用
• タイムアウト防止：グローバルなタイムアウト処理を実装し、MCPの時間制限内で確実に動作
• 部分結果：一部のページが完全に読み込まれなかった場合でも、取得した内容を返す

💻 使用例

基本的な使用法

サーバーは単一のMCPツールを公開しています。

fetch_doc_content

ウェブページの内容を取得し、再帰的にリンク先のページを探索します。

パラメータ:

• url (文字列, 必須): 取得するウェブページのURL
• depth (数値, オプション, デフォルト値: 1): ディレクトリ/リンク探索の最大深度（1 - 5）

戻り値:

{
  "rootUrl": "https://example.com/docs",
  "explorationDepth": 2,
  "pagesExplored": 5,
  "content": [
    {
      "url": "https://example.com/docs",
      "title": "Documentation",
      "content": "Main page content...",
      "links": [
        {
          "url": "https://example.com/docs/topic1",
          "text": "Topic 1"
        },
        ...
      ]
    },
    ...
  ]
}

📦 インストール

1. このリポジトリをクローンします。

git clone https://github.com/wolfyy970/docs-fetch-mcp.git
cd docs-fetch-mcp

2. 依存関係をインストールします。

npm install

3. プロジェクトをビルドします。

npm run build

4. ClaudeクライアントでMCP設定を構成します。

{
  "mcpServers": {
    "docs-fetch": {
      "command": "node",
      "args": [
        "/path/to/docs-fetch-mcp/build/index.js"
      ],
      "env": {
        "MCP_TRANSPORT": "pipe"
      }
    }
  }
}

🔧 技術詳細

依存関係

• @modelcontextprotocol/sdk: MCPサーバーSDK
• puppeteer: ウェブページとのインタラクションに使用するヘッドレスブラウザ
• axios: リクエストを送信するためのHTTPクライアント

開発

開発モードでサーバーを実行するには、以下のコマンドを実行します。

npm run dev

📄 ライセンス

MIT