Documentation Management System

🚀 DocMCP 文檔

DocMCP 是一個用於對大型語言模型（LLMs）的最新文檔進行索引的系統，它支持通過 PostgreSQL 和 pgVector 集成到 AI IDE 中。該系統旨在提供高效的文檔存儲、處理和檢索功能，能極大提升文檔管理的效率。

🚀 快速開始

安裝依賴

使用以下命令安裝項目所需的依賴：

npm install

啟動應用

運行以下命令啟動 DocMCP 系統：

node src/main.ts

✨ 主要特性

DocMCP 提供以下核心功能：

1. 文檔輸入：
   • 用戶通過 add_documentation MCP 工具提供一個 URL。
   • 系統創建一個狀態為“待處理”的作業記錄。
   • 作業被分配標籤以便分類和過濾。
2. 網絡爬取（CrawlerService）：
   • 爬蟲遵守 robots.txt 規則。
   • 按指定的最大深度跟蹤鏈接。
   • 捕獲 HTML 內容和元數據。
   • 創建與父作業關聯的文檔記錄。
3. 文檔處理（DocumentProcessorService）：
   • 清理 HTML 並轉換為結構化 Markdown。
   • 提取元數據（包信息、版本、文檔類型）。
   • 建立文檔之間的父子關係。
   • 更新作業進度。
4. 分塊與嵌入生成（ChunkService）：
   • 將文檔分割為語義塊以提高檢索效率。
   • 使用 AWS Bedrock 生成向量嵌入。
   • 將嵌入存儲在 PostgreSQL 中，使用 pgVector 擴展。
   • 保留分塊元數據和文檔引用。
5. 作業完成（JobService）：
   • 更新作業狀態為“已完成”。
   • 計算並存儲文檔統計信息。
   • 提供文檔查詢功能。
6. 查詢與檢索：
   • 用戶通過 query_documentation MCP 工具發送查詢。
   • 系統將查詢轉換為向量嵌入。
   • 執行相似性搜索以找到相關塊。
   • 返回格式化結果，包括來源信息。
   • 支持按標籤、狀態和元數據進行過濾。

📚 詳細文檔

項目結構

docmcp/
├── prisma/                  # 數據庫模式和遷移
│   └── schema.prisma        # Prisma 模型定義和數據庫配置
├── src/
│   ├── config/              # 應用程序配置
│   │   └── database.ts      # 數據庫連接設置
│   ├── generated/           # 生成代碼（Prisma 客戶端）
│   ├── services/            # 核心服務模塊
│   │   ├── crawler.service.ts     # 網站爬取功能
│   │   ├── document.service.ts    # 文檔管理
│   │   ├── document-processor.service.ts # 文檔處理和轉換
│   │   ├── job.service.ts         # 異步作業管理
│   │   ├── chunk.service.ts       # 文檔分塊和向量操作
│   │   └── mcp-tools/       # MCP 集成工具
│   │       ├── add-documentation.tool.ts    # 添加新文檔的工具
│   │       ├── get-job-status.tool.ts       # 檢查作業狀態
│   │       ├── list-documentation.tool.ts   # 列出可用文檔
│   │       ├── query-documentation.tool.ts  # 查詢文檔
│   │       ├── sample.tool.ts               # 示例工具實現
│   │       └── index.ts                     # 工具註冊和導出
│   ├── types/               # TypeScript 類型定義
│   │   └── mcp.ts           # MCP 工具接口定義
│   ├── utils/               # 工具函數
│   │   ├── logger.ts        # 日誌實用工具
│   │   └── others.ts        # 其他功能
│   └── main.ts              # 應用程序入口點
├── package.json             # 依賴管理文件
└── README.md                # 項目說明文檔

💻 使用示例

基礎用法

網絡爬取服務（crawler.service.ts）

export class CrawlerService {
    async crawlUrl(url: string): Promise<Document> {
        // 實現爬蟲邏輯
    }
}

文檔處理服務（document-processor.service.ts）

export class DocumentProcessorService {
    async processDocument(document: Document): Promise<ProcessedDocument> {
        // 實現文檔處理邏輯
    }
}

🔚 結論

DocMCP 提供了一個高效且靈活的文檔管理解決方案，適用於需要大規模文檔處理和檢索的場景。通過結合網絡爬取、文檔處理和向量嵌入技術，系統能夠滿足多種應用場景的需求。