MCP Server For Document Processing

🚀 MCP サーバー運用ガイド

MCPは、科学、技術、金融分野のテキスト分析に特化した多篇文献処理システムです。効率的なパイプラインとWebサーバーを備え、多言語処理機能をサポートしています。

🚀 クイックスタート

📦 インストール

1. リポジトリのクローン

   git clone https://github.com/donphi/MCP.git
   cd MCP
   

2. 依存関係のインストール

   • パイプライン用:

     pip install -r requirements.pipeline.txt
     

   • サーバー用:

     pip install -r requirements.server.txt
     

3. 環境変数の設定 .env ファイルに以下の変数を設定します。

   CHUNK_SIZE=500
   OVERLAP=100
   MODEL_NAME=sentence-transformers/all-mpnet-base-v2
   

   無料のローカルモデルを使用する場合は、MODEL_NAME をコメントアウトしてください。

4. パイプラインの起動

   python src/pipeline.py
   

5. サーバーの起動

   python src/server.py
   

📚 ドキュメント

🔧 パイプラインコンポーネント

文書処理フロー

1. 文書の読み込み: PDF、DOCX、テキストファイルなど、さまざまな形式をサポートします。
2. タイプ検出: spaCyを使用して言語モデルをトレーニングし、文書のタイプを識別します。
3. チャンク分割戦略:
   • 科学論文: 章ごとに分割し、参考文献を保持します。
   • 財務報告: 表と数字の部分を維持します。
   • 技術文書: コードブロックとサンプルを保存します。
   • 一般的なテキスト: spaCyの意味的境界識別を使用します。

パイプラインツール

• enhanced_chunking.py: より高度なチャンク分割方法を提供します。
• inspect_chunks.py: 既存のチャンク構造を分析します。
• visualize_chunks.py: チャンク分割結果を視覚化します。

💻 サーバー機能

コアサービス

1. 文書の保存:
   • ChromaDBを使用してベクトルデータベースを保存します。
   • 分散ファイルシステムとの統合をサポートします。
2. クエリの処理:
   • マルチモーダル検索（テキスト + 画像）
   • 自然言語クエリをサポートします。
   • 関連性スコアとコンテキスト分析を提供します。

その他の機能

• 文書管理: バージョン管理、アクセス権限の設定などを含みます。
• 統計分析: チャンク分割の効率レポートを提供します。
• ログシステム: すべての操作とエラー情報を記録します。

❓ トラブルシューティング

• Dockerが見つからない: Dockerがインストールされ、実行されていることを確認してください。docker --version で確認できます。
• 「無効な参照形式」エラー:
  • 原因1: ビルド手順を実行していない場合は、まず docker-compose build server を実行してください。
  • 原因2: DockerとDocker Composeの組み合わせを使用している場合。
• APIキーの問題: 無料のローカルモデルを使用する場合は、キーは不要です。
• sentence-transformersパッケージが欠落している: システムが必要なパッケージを自動的にインストールします。
• Chromaデータベースが見つからない: 文書を処理するパイプラインが実行されていることを確認してください。
• 接続問題: MCPの設定が正しいことを確認してください。
• チャンク分割の効率が低い: CHUNK_SIZEとOVERLAPパラメータを調整してください。

💡 最適化の提案

1. パフォーマンスのチューニング:
   • CPUコア数に応じて並列処理スレッドを調整します。
   • SSDを使用してストレージ速度を向上させます。
2. モデルの選択:
   • 必要に応じて適切な埋め込みモデルを選択します。
   • 大規模データの場合は、分散トレーニングを使用します。
3. 拡張性:
   • Kubernetesクラスターにデプロイします。
   • 自動スケーリング戦略を設定します。

⚠️ セキュリティに関する注意事項

• アクセス制御: HTTPSと認証を使用します。
• ログ監視: リアルタイムのログ分析を実施します。
• 定期的なバックアップ: 自動化されたバックアップタスクを設定します。

📑 付録

よくある質問

1. 大きなファイルはどのように処理しますか？
   • 分割アップロードと並列処理を使用します。
2. どの言語をサポートしていますか？
   • 英語、中国語、一部のヨーロッパ言語をサポートしています。
3. 増分更新をサポートしていますか？
   • はい、バージョン管理機能を提供しています。

連絡先

• メール: support@MCP.com
• GitHub: https://github.com/donphi/MCP