Documentation Management System

🚀 DocMCP ドキュメント

DocMCP は、大規模言語モデル（LLMs）の最新ドキュメントをインデックスするためのシステムです。PostgreSQL と pgVector を介して AI IDE に統合することができ、効率的なドキュメントの保存、処理、検索機能を提供します。

✨ 主な機能

DocMCP は以下の主要な機能を提供します。

1. ドキュメント入力

   • ユーザーは add_documentation MCP ツールを使用して URL を提供します。
   • システムは「待処理」状態のジョブレコードを作成します。
   • ジョブには分類とフィルタリングのためのラベルが割り当てられます。

2. Web クローリング（CrawlerService）

   • クローラーは robots.txt ルールに従います。
   • 指定された最大深度までリンクを追跡します。
   • HTML コンテンツとメタデータを取得します。
   • 親ジョブに関連付けられたドキュメントレコードを作成します。

3. ドキュメント処理（DocumentProcessorService）

   • HTML をクリーニングし、構造化された Markdown に変換します。
   • メタデータ（パッケージ情報、バージョン、ドキュメントタイプ）を抽出します。
   • ドキュメント間の親子関係を確立します。
   • ジョブの進捗状況を更新します。

4. チャンク分割と埋め込み生成（ChunkService）

   • ドキュメントを意味的なチャンクに分割し、検索効率を向上させます。
   • AWS Bedrock を使用してベクトル埋め込みを生成します。
   • pgVector 拡張を使用して PostgreSQL に埋め込みを保存します。
   • チャンクのメタデータとドキュメント参照を保持します。

5. ジョブ完了（JobService）

   • ジョブの状態を「完了」に更新します。
   • ドキュメントの統計情報を計算して保存します。
   • ドキュメントのクエリ機能を提供します。

6. クエリと検索

   • ユーザーは query_documentation MCP ツールを使用してクエリを送信します。
   • システムはクエリをベクトル埋め込みに変換します。
   • 類似性検索を実行して関連するチャンクを見つけます。
   • ソース情報を含む形式で結果を返します。
   • ラベル、状態、メタデータによるフィルタリングをサポートします。

📦 インストール

依存関係のインストール

以下のコマンドを使用して、プロジェクトに必要な依存関係をインストールします。

npm install

アプリケーションの起動

以下のコマンドを実行して、DocMCP システムを起動します。

node src/main.ts

💻 使用例

基本的な使用法

1. クローリングサービス（crawler.service.ts）

export class CrawlerService {
    async crawlUrl(url: string): Promise<Document> {
        // クローラーのロジックを実装
    }
}

2. ドキュメント処理サービス（document - processor.service.ts）

export class DocumentProcessorService {
    async processDocument(document: Document): Promise<ProcessedDocument> {
        // ドキュメント処理のロジックを実装
    }
}

📚 ドキュメント

プロジェクト構造

docmcp/
├── prisma/                  # データベーススキーマとマイグレーション
│   └── schema.prisma        # Prisma モデル定義とデータベース設定
├── src/
│   ├── config/              # アプリケーション設定
│   │   └── database.ts      # データベース接続設定
│   ├── generated/           # 生成コード（Prisma クライアント）
│   ├── services/            # 主要なサービスモジュール
│   │   ├── crawler.service.ts     # Web クローリング機能
│   │   ├── document.service.ts    # ドキュメント管理
│   │   ├── document - processor.service.ts # ドキュメント処理と変換
│   │   ├── job.service.ts         # 非同期ジョブ管理
│   │   ├── chunk.service.ts       # ドキュメントのチャンク分割とベクトル操作
│   │   └── mcp - tools/       # MCP 統合ツール
│   │       ├── add - documentation.tool.ts    # 新しいドキュメントを追加するツール
│   │       ├── get - job - status.tool.ts       # ジョブの状態を確認するツール
│   │       ├── list - documentation.tool.ts   # 利用可能なドキュメントをリストするツール
│   │       ├── query - documentation.tool.ts  # ドキュメントをクエリするツール
│   │       ├── sample.tool.ts               # サンプルツールの実装
│   │       └── index.ts                     # ツールの登録とエクスポート
│   ├── types/               # TypeScript 型定義
│   │   └── mcp.ts           # MCP ツールのインターフェース定義
│   ├── utils/               # ユーティリティ関数
│   │   ├── logger.ts        # ログユーティリティ
│   │   └── others.ts        # その他の機能
│   └── main.ts              # アプリケーションのエントリポイント
├── package.json             # 依存関係管理ファイル
└── README.md                # プロジェクトの説明ドキュメント

まとめ

DocMCP は、大規模なドキュメントの処理と検索が必要なシナリオに適した、効率的かつ柔軟なドキュメント管理ソリューションを提供します。Web クローリング、ドキュメント処理、ベクトル埋め込み技術を組み合わせることで、様々なアプリケーションシナリオのニーズを満たすことができます。