Search Engine With Rag And MCP

🚀 RAGとMCPを備えた検索エンジン

強力な検索エンジンで、LangChain、モデルコンテキストプロトコル（MCP）、検索強化生成（RAG）、およびOllamaを組み合わせて、エージェント型AIシステムを構築しています。このシステムは、ウェブ検索、情報検索を行い、関連する回答を提供することができます。

✨ 主な機能

• Exa APIを使用したウェブ検索機能
• FireCrawlを使用したウェブページ内容の取得
• より関連性の高い情報抽出のためのRAG（検索強化生成）
• ツール呼び出しを標準化するためのMCP（モデルコンテキストプロトコル）サーバー
• Ollamaを通じたローカルLLMとOpenAIを通じたクラウドベースのLLMのサポート
• 直接検索、エージェント型検索、またはサーバーモードをサポートする柔軟なアーキテクチャ
• 包括的なエラー処理とエレガントなフォールバック
• 型ヒント付きのPython 3.13+
• ウェブ操作を効率的に実行するための非同期処理

🔧 技術詳細

このプロジェクトはいくつかの重要なコンポーネントを統合しています：

1. 検索モジュール：Exa APIを使用してウェブ検索を行い、FireCrawlを使用して内容を取得します。
2. RAGモジュール：ドキュメントを埋め込み、チャンク化してFAISSベクトルライブラリに保存します。
3. MCPサーバー：ツール呼び出しのための標準化されたプロトコルを提供します。
4. エージェント：LangChainに基づくエージェントで、検索とRAG機能を利用します。

📦 インストール

1. リポジトリをクローンします：

git clone https://github.com/your-username/search-engine-with-rag-and-mcp.git
cd search-engine-with-rag-and-mcp

2. 依存関係をインストールします：

pip install -r requirements.txt

💻 使用例

基本的な使用法

1. 直接検索モード

検索エンジンサーバーを起動します：

python src/main.py serve --mode direct

検索エンジンを使用してクエリを実行します：

python src/main.py search --query "your-query-here"

2. エージェント型検索モード

エージェントサーバーを起動します：

python src/main.py serve --mode agent

APIを介してエージェントを呼び出して検索を行います：

curl -X POST http://localhost:8000/agent/search -d '{"query": "your-query-here"}'

3. MCPサーバーモード

MCPサーバーを起動します：

python src/main.py serve --mode mcp

HTTPプロトコルを介してMCPサービスを呼び出します：

curl -X POST http://localhost:8001/mcp/execute -d '{"tool": "search", "input": "your-query-here"}'

📚 ドキュメント

開発におけるベストプラクティス

このプロジェクトは以下のベストプラクティスに従っています：

• コードフォーマット：blackを使用して自動的にコードをフォーマットし、コーディングスタイルを統一します。
• 型チェック：mypyを利用して静的型チェックを行い、実行時エラーを回避します。
• Linting：flake8とpylintを適用してコード品質を管理します。
• 単体テスト：pytestを使用して単体テストを作成し、機能の正確性を確保します。

📄 ライセンス

このプロジェクトはMITライセンスに従っています。詳細については、LICENSEファイルを参照してください。

謝辞

以下のプロジェクトの貢献に感謝します：

• LangChain エージェントフレームワークの提供
• モデルコンテキストプロトコル 標準化されたツール呼び出しの提供
• Ollama ローカルLLM機能
• Exa ウェブ検索機能
• FireCrawl 内容検索機能