Crawl4ai RAG

🚀 Crawl4AI RAG MCP サーバー

Crawl4AI RAG MCP サーバーは、Web クローリング、ドキュメントの保存、ベクトル検索を統合した総合的なツールです。このツールは、ユーザーがインターネットから情報を効率的に取得し、検索強化生成（RAG）技術を通じてさらに処理するのを支援します。

🚀 クイックスタート

Crawl4AI RAG MCP サーバーを使用するには、まず必要な依存関係をインストールし、データベースを設定し、環境を構成する必要があります。その後、サーバーを起動して、各機能を利用することができます。

✨ 主な機能

1. Web クローリング：

   • マルチスレッド技術を使用して、複数の Web ページを同時にクロールします。
   • 動的コンテンツの読み込みをサポートするウェブサイトを処理できます。
   • 反クローリングメカニズムを備え、ターゲットウェブサイトによるブロックを回避します。

2. ドキュメントの保存：

   • クロールしたコンテンツを自動的に解析し、PostgreSQL 互換のデータベースに保存します。
   • 大規模なデータの保存と管理をサポートします。

3. ベクトル検索：

   • Milvus または他のベクトルデータベースを使用して、テキストコンテンツをベクトル化します。
   • 効率的な類似性検索機能を提供し、関連するドキュメントを迅速に見つけます。

📦 インストール

依存関係のインストール

pip install crawl4ai openai python-dotenv supabase-client milvus

データベースの設定

1. PostgreSQL のインストール：

   • PostgreSQL をダウンロードしてインストールします：https://www.postgresql.org/download/
   • PostgreSQL のユーザーとデータベースを設定し、安全性を確保します。

2. Milvus のインストール：

   • 公式ドキュメントに従って Milvus をインストールします：https://milvus.io/docs/v1.2.0/install-milvus.md
   • Milvus サービスを設定し、正常に動作することを確認します。

環境の構成

.env ファイルを作成し、以下の内容を追加します：

# PostgreSQL の設定
POSTGRES_USER=your_postgres_user
POSTGRES_PASSWORD=your_postgres_password
POSTGRES_HOST=localhost
POSTGRES_PORT=5432
POSTGRES_DB=crawl4ai_db

# Milvus の設定
MILVUS_HOST=http://localhost:19530
MILVUS_COLLECTION_NAME=crawl4ai_collection

サーバーの起動

python -m crawl4ai.server

💻 使用例

基本的な使用法

Web クローリング

from crawl4ai import Crawler

crawler = Crawler()
urls = ["http://example.com", "http://target.com"]
results = crawler.scrape(urls)
print(results)

ドキュメントの保存

from crawl4ai import DatabaseManager

db_manager = DatabaseManager()
await db_manager.store_documents(documents)

ベクトル検索

from crawl4ai import VectorStore

vector_store = VectorStore()
query = "查询内容"
results = vector_store.query_vector(query)
print(results)

📚 ドキュメント

拡張と最適化

1. カスタムクローラー：

   • 具体的なニーズに応じてクローリングロジックを拡張し、異なるウェブサイトの構造を処理します。

2. 保存効率の最適化：

   • 圧縮技術を使用して、保存領域を削減します。
   • データアーカイブ戦略を実施し、履歴データを管理します。

3. 検索パフォーマンスの向上：

   • Milvus のインデックスパラメータを構成し、クエリ速度を向上させます。
   • 定期的にモデルを再トレーニングし、検索の精度を維持します。

セキュリティに関する注意事項

1. データベースのセキュリティ：

   • 強力なパスワードと SSL 接続を使用して、PostgreSQL を保護します。
   • ファイアウォールを構成し、外部からのアクセスを制限します。

2. Web クローリングの規範：

   • robots.txt ファイルの規定に従います。
   • 適切なリクエスト頻度を設定し、ターゲットウェブサイトに負荷をかけないようにします。

3. データのプライバシー：

   • 処理するデータが関連する法律や規制に準拠していることを確認します。
   • 暗号化措置を講じて、機密情報を保護します。