Rust Local Rag

🚀 Rust Local RAG

高性能なローカルRAG（Retrieval-Augmented Generation）システムで、Rustで構築され、Model Context Protocol（MCP）を介してClaude Desktopと統合されています。外部サービスにデータを送信することなく、Claudeの会話内で直接PDFドキュメントを検索し分析することができます。

🎯 目的

このプロジェクトは、Rustを使用して本番環境で使用可能なMCPサーバーを構築する方法を示しています。以下の機能を備えています。

• PDFドキュメントをローカルで処理：popplerを使用してテキストを抽出します。
• 埋め込みを生成：ローカルのOllamaモデルを使用して埋め込みを生成します（外部API呼び出しはありません）。
• セマンティック検索を提供：ドキュメントコレクションを通じてセマンティック検索を行います。
• MCPプロトコルを介してClaude Desktopとシームレスに統合：Claude Desktopとの統合をスムーズに行います。
• すべてのデータ処理をローカルで行い、プライバシーを維持：データ処理はすべてローカルで行われるため、プライバシーが保護されます。

🏗️ MCPとは？

Model Context Protocol (MCP) は、ClaudeのようなAIアシスタントが外部ツールやデータソースと対話できるようにする標準です。Claudeがトレーニングデータに限定されることなく、以下のことが可能になります。

• 外部ツールや関数を呼び出す
• リアルタイムのデータソースにアクセスする
• ローカルアプリケーションと統合する
• 対話間でコンテキストを維持する

🦀 このプロジェクトでのRust MCP SDKの使用方法

この実装では、rmcp クレート（MCPの公式Rust SDK）を利用して、Claude DesktopにRAG機能を公開するサーバーを作成しています。

このプロジェクトにおけるMCPアーキテクチャ

┌─────────────────┐    MCP Protocol     ┌──────────────────┐
│                 │    (stdin/stdout)   │                  │
│  Claude Desktop │ ◄─────────────────► │   Rust RAG       │
│                 │                     │   MCP Server     │
└─────────────────┘                     └──────────────────┘
                                                │
                                                ▼
                                        ┌──────────────────┐
                                        │  Local RAG Stack │
                                        │                  │
                                        │  • PDF Parser    │
                                        │  • Ollama        │
                                        │  • Vector Store  │
                                        │  • Search Engine │
                                        └──────────────────┘

使用される主要なMCPコンポーネント

1. サーバーハンドラーの実装

#[tool(tool_box)]
impl ServerHandler for RagMcpServer {
    fn get_info(&self) -> ServerInfo {
        // Provides server metadata to Claude
    }
}

2. ツール定義

rmcp マクロを使用して、RAG機能をMCPツールとして公開します。

#[tool(description = "Search through uploaded documents using semantic similarity")]
async fn search_documents(&self, query: String, top_k: Option<usize>) -> Result<CallToolResult, McpError>

#[tool(description = "List all uploaded documents")]  
async fn list_documents(&self) -> Result<CallToolResult, McpError>

#[tool(description = "Get RAG system statistics")]
async fn get_stats(&self) -> Result<CallToolResult, McpError>

3. トランスポート層

// Uses stdin/stdout transport for Claude Desktop integration
let service = server.serve(stdio()).await?;

✨ 主な機能

🔍 セマンティックドキュメント検索

• Ollamaの埋め込みを使用したベクトルベースの類似性検索
• 結果数（top-k）を設定可能
• 検索結果の関連性スコアリング

📁 ドキュメント管理

• popplerを介したPDFテキストの自動抽出
• 最適な埋め込み生成のためのドキュメントチャンク化
• リアルタイムのドキュメントリストと統計情報

🔒 プライバシー重視の設計

• すべての処理はローカルで行われます
• ドキュメント内容について外部API呼び出しはありません
• 高速な検索のために埋め込みはローカルに保存されます

⚡ 高性能

• Rustのメモリ安全性とパフォーマンス
• 非ブロッキング操作のためのAsync/await
• 効率的なベクトルストレージと検索

🚀 クイックスタート

1. 前提条件

# Install Rust
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

# Install Ollama
brew install ollama

# Install Poppler (for PDF parsing)
brew install poppler

# Start Ollama and install embedding model
make setup-ollama

2. ビルドとインストール

git clone <this-repository>
cd rust-local-rag
make install

3. Claude Desktopの設定

~/Library/Application Support/Claude/claude_desktop_config.json に以下を追加します。

{
    "mcpServers": {
        "rust-local-rag": {
            "command": "/Users/yourusername/.cargo/bin/rust-local-rag",
            "env": {
                "DATA_DIR": "/Users/yourusername/Documents/data",
                "DOCUMENTS_DIR": "/Users/yourusername/Documents/rag",
                "LOG_DIR": "/tmp/rust-local-rag",
                "LOG_LEVEL": "info",
                "LOG_MAX_MB": "10"
            }
        }
    }
}

4. ドキュメントの追加と使用

# Add PDFs to documents directory
cp your-files.pdf ~/Documents/rag/

# Restart Claude Desktop
# Now ask Claude: "Search my documents for information about X"

🏛️ アーキテクチャ

技術スタック

• 🦀 Rust：パフォーマンスと安全性のためのコアアプリケーション言語
• 📡 rmcp：Claude統合のための公式Rust MCP SDK
• 🤖 Ollama：ローカルの埋め込み生成（nomic-embed-text）
• 📄 Poppler：PDFテキスト抽出
• 🗃️ カスタムベクトルストア：高速検索のためのメモリ内ベクトルデータベース

データフロー

1. ドキュメント取り込み：PDF → テキスト抽出 → チャンク化
2. 埋め込み生成：テキストチャンク → Ollama → ベクトル埋め込み
3. インデックス作成：埋め込み → ローカルベクトルストア
4. 検索：クエリ → 埋め込み → 類似性検索 → 結果
5. MCP統合：結果 → MCPプロトコルを介してClaude Desktop

🛠️ MCP統合の詳細

HTTP APIよりもMCPを選択する理由

公開されているMCPツール

1. search_documents

   • 目的：ドキュメントコレクション全体のセマンティック検索
   • 入力：クエリ文字列、オプションの結果数
   • 出力：類似性スコア付きのランク付けされた検索結果

2. list_documents

   • 目的：ドキュメント在庫管理
   • 入力：なし
   • 出力：すべてのインデックス付きドキュメントのリスト

3. get_stats

   • 目的：システム監視とデバッグ
   • 入力：なし
   • 出力：埋め込み数、メモリ使用量、パフォーマンスメトリクス

📚 ドキュメント

• セットアップガイド：完全なインストールと設定
• 使用ガイド：Claude Desktopの統合と使用例

🤝 コントリビューション

コントリビューションは大歓迎です！このプロジェクトは、他のユースケースに適応できる実用的なMCPサーバー実装パターンを示しています。

開発

# Run in development mode
make run

# Check formatting
cargo fmt --check

# Run linter
cargo clippy

📄 ライセンス

このプロジェクトはMITライセンスの下でライセンスされています。詳細については LICENSE ファイルを参照してください。

🙏 謝辞

• Model Context Protocol の仕様提供
• rmcp の優れたRust MCP SDK提供
• Ollama のローカル埋め込み生成機能
• Claude Desktop のMCP統合サポート

Built with ❤️ in Rust | Powered by MCP | Privacy-focused RAG