Mcprag

🚀 mcpRAG

このプロジェクトは、オープンソースの埋め込みモデル、オープンソースのベクトルデータベース、およびGemini LLMを用いて構築されたRAGシステムです。このシステムは、テキストファイルに基づいた情報取得と回答生成を行います。

🚀 クイックスタート

このプロジェクトでは、テキストファイルに基づくRAGを作成しています。具体的な構成要素は以下の通りです。

✨ 主な機能

• 埋め込み（Embeddings）：「nomic embeddings」を使用し、ollamaを通じてローカルで実行します。
• 大規模言語モデル（LLM）：Gemini-2.0-flashバージョンを採用しています。
• ベクトルデータベース：FAISSを使用しています。

すべてのテキストファイルはチャンクに分割され、各チャンクにはファイル名、チャンクID、およびチャンクテキストが含まれ、JSON形式でローカルに保存されます。各チャンクは埋め込みに変換され、リストに収集されます。

これらの埋め込みリストはFAISSでインデックス化され、ローカルに保存されます。クエリがあると、nomic embeddingsを使用してクエリ内容の埋め込みを生成し、FAISSインデックス内で関連する位置（チャンクのインデックス）を検索します。これらのインデックスはJSONファイルから実際のテキストを取得するために使用されます。

その後、これらのテキストはLLMに渡され、クエリ内容と組み合わせて回答が生成されます。さらに、既存のインデックスに追加のテキストを追加することができ、保存されたインデックスと埋め込みファイルをロードすることで、更新されたインデックス上で新しいクエリを実行することができます。