Qdrant Server Devcontainer For Rag MCP

🚀 Qdrant 開發容器用於文件嵌入

本項目提供了一個專門用於運行 Qdrant 進行文件嵌入的開發環境配置。藉助該環境，可利用向量相似性搜索技術，對文本文檔進行索引和搜索。

🚀 快速開始

此項目旨在為運行 Qdrant 提供便捷的開發環境，以下是快速開始的步驟：

1. 確保系統上正在運行 Docker Desktop。
2. 在 VS Code 中打開此文件夾。
3. 點擊右下角的綠色“重新在容器中打開”按鈕；或者按下F1並輸入"Dev Containers: Reopen in Container"。

✨ 主要特性

• Qdrant 向量數據庫：可在後臺穩定運行。
• 自動文件索引：藉助 sentence-transformers 實現文件的自動索引。
• Python 環境完備：配備所有必需依賴項。
• VS Code 擴展預裝：提前安裝好 VS Code Python 擴展。

📦 安裝指南

先決條件

• 啟動開發容器前，需運行 Docker Desktop。
• 需使用安裝了 Remote - Containers 擴展的 VS Code。
• 需有互聯網連接，用於下載依賴項。

💻 使用示例

基礎用法

1. 將您的文本文件放在data/目錄中。
2. 容器會自動啟動 Qdrant 服務。
3. 容器構建完成後，您可以通過http://localhost:6333訪問 Qdrant。
4. 從容器內部手動運行加載腳本：

python ingest.py

🔧 技術細節

• 端口運行方式：Qdrant 使用動態分配的端口運行，可在容器構建輸出面板中查看端口信息。
• 文本嵌入模型：使用all-MiniLM-L6-v2進行文本嵌入。
• 集合創建：創建一個名為"local-docs"的集合，使用餘弦相似度。
• 支持文件類型：支持文本文件（.txt）、Markdown 文件（.md）和 PDF 文件（.pdf）在數據目錄中。

❓ 故障排除

容器無法啟動

• 確保 Docker Desktop 正在運行。
• 檢查是否有其他進程佔用動態分配的端口。
• 驗證所有依賴項是否正確安裝。

文件未被索引

• 檢查文件是否在data/目錄中。
• 確認文件擴展名受支持（當前支持.txt、.md、.pdf）。
• 確保文件對容器可讀。

📄 許可證

本項目採用 MIT License。

📋 待辦事項

• 處理大體積 PDF 文件。
• 使用並行處理按頁面提取文本。
• 每個片段準備完成後立即嵌入和推送。
• 如果torch.cuda.is_available()可用，添加 GPU 嵌入支持。
• 添加對 epub 文件的支持。