Document Crawler & Search

🚀 知識ベースシステム

このシステムは、crawl4aiとfastmcpプロトコルを用いて構築された知識ベースシステムです。自然言語によるクエリを通じて、ドキュメントから情報を取得することができます。

🚀 クイックスタート

この知識ベースシステムを使用するには、まず以下の手順でインストールしてください。

📦 インストール

プロジェクト概要

これは、crawl4aiとfastmcpプロトコルを使用して構築された知識ベースシステムです。自然言語クエリを通じてドキュメントから情報を取得することができます。

インストール手順

1. リポジトリをクローンする：

   git clone git@github.com:yourusername/MCPDocSearch.git
   cd MCPDocSearch
   

2. 仮想環境を作成し、依存関係をインストールする：

   uv env create --python 3.8+
   pip install -r requirements.txt
   

📚 ドキュメント

ドキュメント構造

プロジェクトは以下の主要部分を含みます：

1. crawler_cli：ウェブページのクローリングとドキュメントの生成を担当します。
2. mcp_server：MCPプロトコルを実装し、知識ベースのクエリインターフェースを提供します。

核心フロー

1. クローラーの実行：

   • crawl4aiを使用して、指定されたURLからクローリングを開始します。
   • ルール（深さ、リンクパターンなど）に基づいてページ内容を取得します。

2. 内容のクリーニング：

   • オプションの手順です。BeautifulSoupを使用してHTMLをクリーニングし、ナビゲーションバーなどの不要な要素を削除します。

3. ドキュメントの生成：

   • クリーニングされたHTMLをMarkdown形式に変換します。
   • ./storage/ディレクトリに保存します。

4. MCPサーバーの起動：

   uv run python -m mcp_server.main
   

設定例

Cursor/Claudeデスクトップ版との統合

プロジェクトのルートディレクトリに.cursor/mcp.jsonファイルを作成し、以下の内容を記述します：

{
  "mcpServers": {
    "doc-query-server": {
      "command": "uv",
      "args": [
        "--directory",
        "/your/MCPDocSearch/absolute/path",
        "run",
        "python",
        "-m",
        "mcp_server.main"
      ],
      "env": {}
    }
  }
}

セキュリティに関する注意事項

• Pickleキャッシュ：プロジェクトはpickleモジュールを使用してデータをキャッシュします。セキュリティを確保するために、./storage/ディレクトリは信頼できるユーザーまたはプロセスのみがアクセスできるようにしてください。

依存関係

主要なライブラリは以下の通りです：

• crawl4ai：核心的なウェブクローリング機能
• fastmcp：MCPサーバーの実装
• sentence-transformers：テキスト埋め込みの生成
• torch：sentence-transformersの依存関係
• typer：コマンドラインツールの構築
• uv：プロジェクトと環境の管理
• beautifulsoup4（crawl4aiを通じて使用）
• rich：ターミナル出力の強化

アーキテクチャ

システムは以下のフローに従います：

1. クローラーCLI：ユーザーがツールを実行し、開始URLと関連オプションを指定します。
2. ウェブクローリング：crawl4aiを使用してウェブページの内容を取得し、ルールに基づいてリンクを取得します。
3. 内容のクリーニング：オプションの手順で、BeautifulSoupを使用してHTMLをクリーニングします。
4. ドキュメントの生成：処理された内容をMarkdown形式に変換して保存します。
5. MCPサーバーの起動：mcp_server.mainモジュールを実行し、知識ベースのクエリサービスを提供します。

セキュリティに関する注意事項

• キャッシュディレクトリ./storage/は、許可されたユーザーのみがアクセスできるようにしてください。
• 古いドキュメントを定期的に削除し、潜在的なセキュリティリスクを減らしてください。