MCP Server For Document Processing

🚀 MCP 服務器運行指南

MCP 是一個專為科學、技術和金融領域的文本分析設計的多篇文獻處理系統。它集成了高效的管道和 Web 服務器，支持多種語言處理功能，能為用戶提供強大的文本分析能力。

🚀 快速開始

MCP 是一個多篇文獻處理系統，專為科學、技術和金融領域的文本分析設計。它包括一個高效的管道和 Web 服務器，支持多種語言處理功能。

📦 安裝指南

安裝步驟

1. 克隆倉庫

   git clone https://github.com/donphi/MCP.git
   cd MCP
   

2. 安裝依賴項

   • 對於管道：

     pip install -r requirements.pipeline.txt
     

   • 對於服務器：

     pip install -r requirements.server.txt
     

3. 配置環境變量 在 .env 文件中設置以下變量：

   CHUNK_SIZE=500
   OVERLAP=100
   MODEL_NAME=sentence-transformers/all-mpnet-base-v2
   

   如果需要使用免費的本地模型，註釋掉 MODEL_NAME。

4. 啟動管道

   python src/pipeline.py
   

5. 啟動服務器

   python src/server.py
   

✨ 主要特性

管道組件

文檔處理流程

1. 文檔加載：支持多種格式，包括 PDF、DOCX 和文本文件。
2. 類型檢測：使用 spaCy 進行語言模型訓練，識別文檔類型。
3. 分塊策略：
   • 科學論文：按章節分割，保留參考文獻。
   • 財務報告：保持表格和數字部分。
   • 技術文檔：保存代碼塊和示例。
   • 文本通用：使用 spaCy 的語義邊界識別。

管道工具

• enhanced_chunking.py：提供更智能的分塊方法。
• inspect_chunks.py：分析現有分塊結構。
• visualize_chunks.py：可視化分塊結果。

服務器功能

核心服務

1. 文檔存儲：
   • 使用 ChromaDB 存儲向量數據庫。
   • 支持分佈式文件系統集成。
2. 查詢處理：
   • 多模態檢索（文本 + 圖像）。
   • 支持自然語言查詢。
   • 提供相關性評分和上下文分析。

其他功能

• 文檔管理：包括版本控制、訪問權限設置。
• 統計分析：提供分塊效率報告。
• 日誌系統：記錄所有操作和錯誤信息。

🔧 技術細節

故障排除

• Docker 未找到：確保 Docker 已安裝並運行。可通過 docker --version 檢查。
• “無效引用格式” 錯誤：
  • 原因 1：未執行構建步驟，先運行 docker-compose build server。
  • 原因 2：使用 Docker 和 Docker Compose 的組合。
• API 密鑰問題：可以使用免費的本地模型無需密鑰。
• 缺失 sentence-transformers 包：系統會自動安裝所需包。
• Chroma 數據庫未找到：確保已運行管道處理文檔。
• 連接問題：檢查 MCP 配置是否正確。
• 分塊效率低：調整 CHUNK_SIZE 和 OVERLAP 參數。

優化建議

1. 性能調優：
   • 根據 CPU 核心數調整並行處理線程。
   • 使用 SSD 提升存儲速度。
2. 模型選擇：
   • 根據需求選擇合適的 embedding 模型。
   • 對於大規模數據，使用分佈式訓練。
3. 擴展性：
   • 部署到 Kubernetes 集群。
   • 配置自動縮放策略。

安全注意事項

• 訪問控制：使用 HTTPS 和身份驗證。
• 日誌監控：實施即時日誌分析。
• 定期備份：設置自動化備份任務。

📚 詳細文檔

附錄

常見問題解答

1. 如何處理大文件？
   • 分片上傳和並行處理。
2. 支持哪些語言？
   • 英文、中文和其他部分歐洲語言。
3. 是否支持增量更新？
   • 是，提供版本控制功能。

聯繫方式

• 郵件：support@MCP.com
• GitHub：https://github.com/donphi/MCP

該指南詳細介紹了 MCP 服務器的安裝、配置和使用方法，並提供了故障排除和優化建議。