Qdrant Server Devcontainer For Rag MCP

🚀 Qdrant 開発コンテナを用いたファイル埋め込み

このプロジェクトは、Qdrantを使用してファイルを埋め込むための開発環境構成を提供します。必要なすべてのコンポーネントを含み、ベクトル類似性検索技術を利用して、テキスト文書のインデックス作成と検索を行うことができます。

🚀 クイックスタート

前提条件

1. 開発コンテナを起動する前に、Docker Desktopを実行しておく必要があります。
2. Remote - Containers拡張機能がインストールされたVS Codeを使用します。
3. 依存関係をダウンロードするために、インターネット接続が必要です。

手順

1. システム上でDocker Desktopが実行されていることを確認します。
2. VS Codeでこのフォルダを開きます。
3. 右下の緑色の「コンテナで再開」ボタンをクリックします。
   • または、F1を押して「Dev Containers: Reopen in Container」と入力します。

✨ 主な機能

• バックグラウンドで動作するQdrantベクトルデータベース
• sentence-transformersを使用した自動ファイルインデックス作成
• 必要なすべての依存関係がインストールされたPython環境
• 事前にインストールされたVS Code Python拡張機能

📦 インストール

プロジェクト構造

qdrant_server_devcontainer/
├── .devcontainer/
│   ├── devcontainer.json
│   └── Dockerfile
├── requirements.txt
├── ingest.py
└── data/ # ここにテキストファイルを配置します

使用方法

1. テキストファイルをdata/ディレクトリに配置します。
2. コンテナは自動的にQdrantサービスを起動します。
3. コンテナの構築が完了したら、http://localhost:6333からQdrantにアクセスできるはずです。
4. コンテナ内から手動でロードスクリプトを実行します。

python ingest.py

🔧 技術詳細

• Qdrantは動的に割り当てられたポートで動作します（コンテナ構築出力パネルで確認）。
• テキスト埋め込みにはall-MiniLM-L6-v2を使用します。
• コサイン類似度を使用して、"local-docs"という名前のコレクションを作成します。
• データディレクトリ内のテキストファイル（.txt）、Markdownファイル（.md）、PDFファイル（.pdf）をサポートします。

💡 トラブルシューティング

コンテナが起動しない場合

• Docker Desktopが実行されていることを確認します。
• 動的に割り当てられたポートを使用している他のプロセスがないことを確認します。
• すべての依存関係が正しくインストールされていることを検証します。

ファイルがインデックスされない場合

• ファイルがdata/ディレクトリにあることを確認します。
• ファイル拡張子がサポートされていることを確認します（現在は.txt、.md、.pdfがサポートされています）。
• ファイルがコンテナから読み取り可能であることを確認します。

📄 ライセンス

MIT License

今後の予定

• 大容量PDFファイルの処理
• ページ単位でのテキスト抽出に並列処理を使用
• 各フラグメントの準備ができたらすぐに埋め込みとプッシュを行う
• torch.cuda.is_available()が利用可能な場合、GPU埋め込みをサポートする
• epubファイルのサポートを追加する