Mcpdocsearch

🚀 プロジェクトドキュメント

このプロジェクトは、Webクローリング、データクリーニング、ベクトル埋め込み生成を通じて、MCPプロトコルに基づくドキュメント検索サーバーを構築することを目的としています。ユーザーは、Cursorなどの設定ツールを使用してこのサーバーにアクセスし、ドキュメント検索などのタスクを実行できます。

🚀 クイックスタート

📦 インストール

環境構築

1. uv を使用してプロジェクト環境を作成します。

   uv init --python 3.8 mcp-doc-search
   cd mcp-doc-search
   

2. 仮想環境をアクティブにし、依存関係をインストールします。

   uv activate
   pip install -r requirements.txt
   

設定説明

• プロジェクトパス：/path/to/your/MCPDocSearch を実際のプロジェクトの絶対パスに置き換えてください。
• ポート設定：デフォルトでは --port 12345 が使用されます。必要に応じて変更できます。

💻 使用例

基本的な使用法

ネットワーククローリング

Webクローラーツールを実行してドキュメント内容を取得します。

uv run python -m crawler_cli.cli --help

MCPサーバーの起動

MCPサーバーを起動し、ドキュメントデータをロードします。

uv run python -m mcp_server.main

📚 ドキュメント

プロジェクトアーキテクチャ

1. crawler_cli：ユーザーがコマンドラインツールを通じて開始URLとパラメーターを提供します。
2. ネットワーククローリング（crawl4ai）：crawl4ai ライブラリを使用して、規則に従ってWebページの内容を取得します。
3. データクリーニング：任意の手順で、BeautifulSoupを使用してHTML内のナビゲーションバーとリンクをクリーニングします。
4. Markdown生成（crawl4ai）：クリーニングされたHTMLをMarkdown形式に変換します。
5. ドキュメント保存：生成されたMarkdownファイルを ./storage/ ディレクトリに保存します。
6. MCPサーバーの起動（mcp_server.data_loader）：
   • キャッシュファイルまたは直接 .md ファイルからデータをロードします。
   • Markdownドキュメントをタイトルごとに分割し、テキスト埋め込みを生成します。
7. ツールの公開（mcp_server.mcp_tools）：fastmcp を通じてドキュメント検索などのツールを公開します。
8. クエリの実行（Cursor）：MCPクライアントを通じてサーバーツールを呼び出し、ドキュメント検索機能を実現します。

依存関係

• crawl4ai：コアのネットワーククローリング機能。
• fastmcp：MCPプロトコルのサーバー実装。
• sentence-transformers：テキスト埋め込み生成。
• torch：sentence-transformers で使用されます。
• typer：コマンドラインツールの構築。
• uv：プロジェクトと環境の管理。
• beautifulsoup4：HTML解析（crawl4ai を通じて）。
• rich：ターミナル出力の強化。

📄 ライセンス

このプロジェクトはMITライセンスに準拠しており、詳細な条項は LICENSE ファイルを参照してください。

🔧 技術詳細

セキュリティ上の注意事項

• Pickleキャッシュ：このプロジェクトではPythonの pickle モジュールを使用してデータをキャッシュしています。./storage/ ディレクトリが信頼されたユーザーとプロセスのみに書き込み可能であることを確認することをお勧めします。