Documentation Crawler

🚀 MCP サーバードキュメント

MCP サーバーは、JSON 形式のドキュメントを管理し、提供するためのサーバーです。自動的なドキュメントの検出と読み込み、クローラー機能、ドキュメントの検索や詳細取得などの機能を備えています。

🚀 クイックスタート

📦 インストール

Node.js を使用して MCP サーバーをインストールします。

git clone [リポジトリアドレス]
cd mcp-server
npm install

💻 使用例

基本的な使用法

サーバーの起動

以下のコマンドを実行して MCP サーバーを起動します。

node server.js

デフォルトでは、サーバーは http://localhost:3000 で起動します。

ドキュメントの読み込みフロー

1. 自動検出と読み込み：サーバーが起動すると、docs ディレクトリ内のすべての JSON ファイルを自動的にスキャンして読み込みます。
2. 代替読み込みメカニズム：プロジェクトディレクトリ内にドキュメントファイルが見つからない場合、現在の作業ディレクトリから読み込みを試みます。
3. ページ ID の決定：デフォルトでは、URL をページの一意の識別子として使用し、url フィールドを追加で指定する必要はありません。
4. ソース名の処理：すべてのドキュメントソース名は、一貫性を確保するために自動的に小文字に変換されます。

ドキュメントの形式

ドキュメントファイルは JSON 形式で、以下の構造を含む必要があります。

{
  "source": {
    "name": "taro",
    "url": "https://docs.taro.zone/docs"
  },
  "lastUpdated": "2024-03-27T12:00:00Z",
  "pages": {
    "https://docs.taro.zone/docs/components-desc": {
      "title": "コンポーネントライブラリの説明 | Taro ドキュメント",
      "content": "ページの内容..."
    },
    // 他のページ...
  }
}

高度な使用法

クローラー機能

システムには、各種フレームワークの公式ドキュメントサイトから内容を取得し、ローカルで使用可能な形式に変換するクローラーが組み込まれています。クローラーの機能は以下の通りです。

1. 複数サイトのサポート：任意のフレームワークやライブラリのドキュメントサイトをサポートし、完全に設定可能です。
2. 選択的なクローリング：含めるパターンと除外するパターンを指定することで、クローリングする内容を正確に制御できます。
3. スマートな内容抽出：ページのタイトル、本文内容、関連する構造情報を自動的に識別します。
4. 高並列処理：複数のスレッドで同時にクローリングを行い、効率を向上させます。
5. 自動変換：取得した内容を標準の JSON 形式のドキュメントに自動的に変換します。
6. エラー処理機構：タイムアウト処理とリトライ機能を備え、安定性を確保します。

クローラーの設定例

config.json ファイルに以下の内容を追加してクローラーを設定します。

{
  "crawlers": {
    "taro": {
      "url": "https://docs.taro.zone/docs",
      "include": ["components", "tutorial"],
      "exclude": ["deprecated"]
    }
  }
}

MCP ツール

MCP サーバーは以下のツールを提供します。

search_docs - ドキュメント検索

• パラメーター：
  • query: 検索キーワード (文字列, 必須)
  • source: ドキュメントソース名 (文字列, オプション)
  • limit: 最大結果数 (数値, オプション, デフォルトは 10)
• 特殊機能：
  • query が "reload" の場合、ドキュメントの再読み込みをトリガーします。

get_doc_detail - ドキュメント詳細の取得

• パラメーター：
  • id: ドキュメント ID (文字列, 必須)
  • source: ドキュメントソース名 (文字列, オプション)

コード例

// ドキュメントの検索
const searchRequest = {
  jsonrpc: "2.0",
  id: "search1",
  method: "tools/call",
  params: {
    name: "search_docs",
    arguments: { 
      query: "コンポーネント", 
      source: "taro",
      limit: 5
    }
  }
};

// ドキュメント詳細の取得
const detailRequest = {
  jsonrpc: "2.0",
  id: "detail1",
  method: "tools/call",
  params: {
    name: "get_doc_detail",
    arguments: { 
      id: "https://docs.taro.zone/docs/components"
    }
  }
};

設定例

config.json ファイルで MCP サーバーを設定します。

{
  "port": 3000,
  "sources": {
    "taro": {
      "url": "https://docs.taro.zone/docs",
      "token": "your_token_here"
    }
  }
}

テスト

テスト用ドキュメントの作成

docs ディレクトリ内に example.json という名前のファイルを作成します。

{
  "source": {
    "name": "test",
    "url": "http://localhost/test-docs"
  },
  "lastUpdated": "2024-03-27T12:00:00Z",
  "pages": {
    "/test": {
      "title": "テストページ",
      "content": "これはテスト用のドキュメントです。"
    }
  }
}

テストリクエストの送信

curl コマンドを使用してリクエストを送信します。

curl http://localhost:3000 -d '{"jsonrpc":"2.0","id":"search1","method":"tools/call","params":{"name":"search_docs", "arguments":{"query":"test"}}}'

🔧 技術詳細

エラー処理

一般的なエラー

• 404 Not Found: 要求されたリソースが見つかりません。
• 500 Internal Server Error: サーバー内部エラー。

ログの確認

logs ディレクトリ内のログファイルを確認して、詳細な情報を取得します。

更新履歴

v1.0.0

• 初期バージョンのリリース
• 基本機能とドキュメントの読み込みサポートの追加

v1.1.0

• マルチスレッドクローリング機能の追加
• ドキュメント検索のパフォーマンスの最適化
• 既知のエラーの修正