Sui MCP Server

🚀 MCP サーバと FAISS を組み合わせた RAG プロジェクトドキュメント

MCP サーバは、FAISS（効率的な類似性検索と機械学習ライブラリ）を組み合わせて RAG（検索強化生成）を実現するプロジェクトです。このプロジェクトは、完全なドキュメント検索と生成のワークフローを提供し、GitHub から Move ファイルを抽出し、大規模言語モデル（LLM）を統合して強化された回答を生成することができます。

✨ 主な機能

• ドキュメント検索：FAISS を通じて効率的な類似性検索を行います。
• Move ファイル抽出：GitHub から関連する Move ファイルをダウンロードして処理することをサポートします。
• RAG パイプライン：ドキュメント検索、コンテキスト形成、LLM 応答生成を含む完全な RAG ワークフローを実装しています。
• API 統合：RESTful API インターフェースを提供し、リモートのドキュメントインデックスと検索操作をサポートします。

📦 インストール

環境依存

• Python 3.8+
• FAISS ライブラリ
• requests ライブラリ
• transformers ライブラリ
• torch ライブラリ

設定手順

1. プロジェクトリポジトリをクローンします：

git clone https://github.com/your-repository/mcp_server.git
cd mcp_server

2. 依存関係をインストールします：

pip install -r requirements.txt

3. 環境変数を設定します： .env ファイルを作成し、以下の内容を追加します：

GITHUB_TOKEN=your_github_token_here
OPENAI_API_KEY=your_openai_api_key_here

📚 ドキュメント

プロジェクト構造

mcp_server/
├── __init__.py             # パッケージ初期化ファイル
├── main.py                # メインサーバーファイル
├── mcp_api.py             # MCP API 実装
├── index_move_files.py    # ファイルインデックスツール
├── local_query.py         # ローカルクエリツール
├── download_move_files.py # GitHub Move ファイル抽出器
├── rag_integration.py     # LLM 統合モジュール
├── pyproject.toml         # パッケージ設定ファイル
├── requirements.txt       # 依存関係管理
├── .env.example           # 環境変数のサンプル
├── README.md              # プロジェクト説明ドキュメント
├── data/                  # データ保存ディレクトリ
├── docs/                  # サンプルドキュメント
│   └── move_files/        # ダウンロードした Move ファイル
├── models/                # モデル実装
│   └── vector_store.py    # FAISS ベクトルストア実装
└── utils/
    ├── document_processor.py  # ドキュメント処理ツール
    └── github_extractor.py    # GitHub ファイル抽出ツール

コアコンポーネント

MCP API 実装 (mcp_api.py)

• /mcp/action エンドポイントを提供し、以下の操作をサポートします：
  • retrieve_documents：クエリに基づいて関連するドキュメントを検索します。
  • index_documents：指定されたディレクトリからドキュメントをインデックスします。

RAG 統合 (rag_integration.py)

• 以下の完全な RAG ワークフローを実装しています：
  1. 検索クエリ
  2. ドキュメント検索
  3. コンテキスト形成
  4. LLM 応答生成

GitHub Move ファイル抽出 (download_move_files.py)

• 2 種類のファイル抽出方法をサポートしています：
  • GitHub API（推奨）：有効な GitHub Token の設定が必要です。
  • コマンドライン：コマンドラインでクエリパラメータを指定してファイルをダウンロードできます。

💻 使用例

サーバーの初期化

python main.py --port 8000

API の呼び出し

http://localhost:8000/mcp/action に POST リクエストを送信し、リクエストボディは以下の通りです：

{
  "operation": "retrieve_documents",
  "params": {
    "query": "你的查询内容",
    "top_k": 5
  }
}

Move ファイルのダウンロード

以下のコマンドを使用して、GitHub 上の関連する Move ファイルをダウンロードします：

python download_move_files.py --query "your-query" --output-dir ./docs/move_files

🔧 技術詳細

• ベクトルストア：FAISS を使用して効率的なドキュメントベクトル化と類似性検索を実現しています。
• モデル統合：GPT、BERT などの複数の LLM モデルをサポートしています。
• ファイル処理：柔軟なドキュメント解析と前処理機能を提供しています。

📄 ライセンス

このプロジェクトは MIT ライセンスに従っており、詳細は LICENSE ファイルを参照してください。