MCP Server For Document Processing

このプロジェクトは、Model Context Protocol (MCP) 標準に基づくドキュメント処理サーバーです。ベクトルデータベースと MCP インターフェースを構築することで、AI アシスタントが外部のドキュメントリソースにアクセスできるようにし、大規模言語モデルの知識制限を突破します。プロジェクトにはドキュメント処理パイプラインと MCP サーバーの 2 つの主要コンポーネントが含まれており、複数の埋め込みモデルとファイル形式をサポートし、最新の技術ドキュメントの検索やプライベートコードベースの理解などのシナリオに適用できます。

知識管理と記憶開発者ツール #ドキュメント処理 #知識拡張 #AI 統合 #ベクトル検索 .Python

スコア : 2.5ポイント

ダウンロード数 : 10.1K

更新時間 : 2025-04-23

サイトを開く

MCP ドキュメント処理サーバーとは？

MCP ドキュメント処理サーバーは、最新のドキュメントやプライベート資料を大規模言語モデルの知識ベースに追加するのに役立つツールです。これにより、AI アシスタントは古いトレーニングデータに依存することなく、特定のコンテンツにアクセスできます。

MCP ドキュメント処理サーバーをどのように使用する？

簡単な手順で使用を開始できます。まずドキュメントを準備し、次にサーバーを起動し、最後に AI アシスタントを設定します。

適用シナリオ

MCP ドキュメント処理サーバーは、最新のフレームワークドキュメント、プライベートコードベース、または技術仕様が必要なアプリケーションシナリオに最適です。

主要機能

ドキュメント処理パイプライン

ドキュメントを自動的に読み取り、分割、埋め込み、ベクトルデータベースに保存します。

複数のファイルタイプをサポート

Markdown、テキスト、PDF、Word ドキュメントをサポートします。

コンテキスト検索

AI アシスタントがリクエストを処理する際に関連するコンテキストを検索できるようにします。

カスタム設定

複数の埋め込みモデルと高度な設定をサポートします。

利点

AI の知識ベースを拡張し、最新のコンテンツをサポートする

プライベートドキュメントと独自情報をサポートする

AI アシスタントの応答精度を向上させる

制限

設定には一定の技術的背景が必要です

大きなファイルにはより多くの計算リソースが必要になる場合があります

使い方

Docker をインストールする

システムに Docker がインストールされ、正常に動作していることを確認してください。

コードリポジトリをクローンする

MCP ドキュメント処理サーバーのコードをダウンロードして設定します。

環境変数を設定する

.env ファイルを編集して、API キーやその他のパラメータを設定します。

処理パイプラインを実行する

ドキュメントを処理して埋め込みを生成します。

サーバーを構築する

MCP サーバーイメージを構築します。

AI アシスタントを接続する

AI アシスタントを設定して、MCP サーバーを使用するようにします。

使用例

AI の React 19 に関する知識を更新する

React 19 の公式ドキュメントを処理して、AI アシスタントに新機能を理解させます。

プライベート API ドキュメントの問題をデバッグする

プライベート API ドキュメントをアップロードして処理し、AI アシスタントに具体的な実装を理解させます。

よくある質問

Docker をどのようにインストールしますか？

API キーが必要ですか？

AI アシスタントをどのように接続しますか？

🚀 MCP サーバー運用ガイド

MCPは、科学、技術、金融分野のテキスト分析に特化した多篇文献処理システムです。効率的なパイプラインとWebサーバーを備え、多言語処理機能をサポートしています。

🚀 クイックスタート

📦 インストール

リポジトリのクローン

git clone https://github.com/donphi/MCP.git
cd MCP

依存関係のインストール

パイプライン用:

pip install -r requirements.pipeline.txt

サーバー用:
```
pip install -r requirements.server.txt
```

環境変数の設定 .env ファイルに以下の変数を設定します。
```
CHUNK_SIZE=500
OVERLAP=100
MODEL_NAME=sentence-transformers/all-mpnet-base-v2
```
無料のローカルモデルを使用する場合は、MODEL_NAME をコメントアウトしてください。
パイプラインの起動
```
python src/pipeline.py
```
サーバーの起動
```
python src/server.py
```

📚 ドキュメント

🔧 パイプラインコンポーネント

文書処理フロー

文書の読み込み: PDF、DOCX、テキストファイルなど、さまざまな形式をサポートします。
タイプ検出: spaCyを使用して言語モデルをトレーニングし、文書のタイプを識別します。
チャンク分割戦略:
- 科学論文: 章ごとに分割し、参考文献を保持します。
- 財務報告: 表と数字の部分を維持します。
- 技術文書: コードブロックとサンプルを保存します。
- 一般的なテキスト: spaCyの意味的境界識別を使用します。

パイプラインツール

enhanced_chunking.py: より高度なチャンク分割方法を提供します。
inspect_chunks.py: 既存のチャンク構造を分析します。
visualize_chunks.py: チャンク分割結果を視覚化します。

💻 サーバー機能

コアサービス

文書の保存:
- ChromaDBを使用してベクトルデータベースを保存します。
- 分散ファイルシステムとの統合をサポートします。
クエリの処理:
- マルチモーダル検索（テキスト + 画像）
- 自然言語クエリをサポートします。
- 関連性スコアとコンテキスト分析を提供します。

その他の機能

文書管理: バージョン管理、アクセス権限の設定などを含みます。
統計分析: チャンク分割の効率レポートを提供します。
ログシステム: すべての操作とエラー情報を記録します。

❓ トラブルシューティング

Dockerが見つからない: Dockerがインストールされ、実行されていることを確認してください。docker --version で確認できます。
「無効な参照形式」エラー:
- 原因1: ビルド手順を実行していない場合は、まず docker-compose build server を実行してください。
- 原因2: DockerとDocker Composeの組み合わせを使用している場合。
APIキーの問題: 無料のローカルモデルを使用する場合は、キーは不要です。
sentence-transformersパッケージが欠落している: システムが必要なパッケージを自動的にインストールします。
Chromaデータベースが見つからない: 文書を処理するパイプラインが実行されていることを確認してください。
接続問題: MCPの設定が正しいことを確認してください。
チャンク分割の効率が低い: CHUNK_SIZEとOVERLAPパラメータを調整してください。