Crawl4ai

🚀 Crawl4AI MCP サーバー

Crawl4AI MCP サーバーは、AI アシスタント向けに設計された高性能のウェブクローラーシステムです。モデルコンテキストプロトコル（MCP）を介した接続をサポートし、AI アシスタントがウェブページのクローリングとデータ処理を行うための強力なツールを提供します。

📚 ドキュメントリンク

• プロジェクトドキュメント
• モデルコンテキストプロトコル仕様

✨ 主な機能

コア機能

1. ウェブクローラー：指定された URL から深さ優先または幅優先でウェブページのクローリングを行います。
2. データストレージ：クローリングした内容を分散型データベースに保存し、高可用性と永続性を確保します。
3. コンテンツ抽出：高度な自然言語処理技術を使用して、ドキュメントから重要な情報を抽出します。

高度な機能

1. タスク管理：
   • crawl: 指定された URL からウェブクローリングを開始します。
   • getCrawl: ID を指定してクローリングデータを取得します。
   • listCrawls: すべてのクローリング記録をリスト表示するか、ドメインで結果をフィルタリングします。
2. 検索機能：クローリングしたドキュメント内で、クエリキーワードを使用した全文検索をサポートします。
3. 構造化抽出：指定された URL から、表やリストなどの構造化データを抽出します。

📦 プロジェクト構造

src/
├── main.ts: サーバーと関連サービスを起動するエントリーファイル
├── crawler/
│   ├── crawler.ts: ウェブクローラーの核心ロジック
│   └── storage.ts: データの保存と検索モジュール
├── extractor/
│   └── extractor.ts: コンテンツ抽出アルゴリズムの実装
└── tools/
    ├── crawlTool.ts: クローラーツールの定義
    ├── searchTool.ts: 検索ツールの定義
    └── extractTool.ts: 抽出ツールの定義

📦 インストール

1. ローカルインストール：

   npm install
   

2. 実行環境の準備：
   • Node.js のバージョンが 16.0.0 以上であることを確認してください。
   • Docker をインストールし、関連環境を設定してください。

🚀 実行とデプロイ

1. ローカル起動：

   npm run dev
   

2. Docker デプロイ：

   docker-compose up -d
   

💻 使用例

認証機構

• OAuth ベースのセキュリティ認証が実装されています。
• API キーを使用した認証をサポートしています。

MCP クライアントとの接続

1. Claude Desktop または他の MCP クライアントで、このサーバーのアドレスをツールのデータソースとして追加します。

⚙️ 設定オプション

環境変数を変更することで、柔軟な設定が可能です。

MAX_CRAWL_DEPTH=3         # デフォルトのクローリング深度制限
MAX_CRAWL_PAGES=100       # デフォルトのクローリングページ数上限
API_VERSION=v1            # API バージョン番号
OAUTH_CLIENT_ID=your_id    # OAuth クライアント ID
OAUTH_CLIENT_SECRET=your_secret  # OAuth クライアントシークレット

📈 開発計画

現在の開発段階

1. プロジェクト初期化：Cloudflare Worker の設定と TypeScript の基礎構築を完了しました。
2. MCP サーバーの実装：MCP プロトコルの適合とサービスフレームワークを完了しました。
3. Crawl4AI コンポーネントの統合：Crawl4AI の機能モジュールを統合しました。

将来の計画

1. パフォーマンス最適化：
   • クローラーの効率を向上させ、ストレージ構造を最適化します。
2. 機能拡張：
   • マルチスレッドクローリングをサポートします。
   • 画像認識や表解析など、より多くのデータ処理機能を追加します。

🤝 貢献ガイド

コミュニティの貢献を歓迎します！GitHub を通じて問題や Pull Request を提出し、プロジェクト開発に参加してください。詳細なルールは CONTRIBUTING.md を参照してください。

📎 付録

よくある質問

• クローラーの効率を向上させるには？：クローリング戦略を最適化し、プロキシサーバーを追加することができます。
• データストレージにはどのような制限がありますか？：現在は主流のデータベースをサポートしており、今後さらに多くのストレージソリューションを拡張する予定です。

連絡先

• メール: support@crawl4ai.com
• GitHub: Crawl4AI プロジェクト

Crawl4AI MCP サーバーをご利用いただき、ありがとうございます！ご質問やご要望があれば、いつでもお問い合わせください。