Crawl4ai MCP

🚀 Crawl4AI 智能ネットワーククローラーと人工知能処理サーバー（MCP）

このサーバーは、智能的なネットワーククローリングと人工知能によるコンテンツ分析を行う MCP (モデル - コントローラー - プロセッサー) サーバーです。簡単に使える API を提供し、ウェブサイトからデータを収集し、Claude AI モデルを利用してコンテンツを処理することができます。

🚀 クイックスタート

Crawl4AI は、特定のウェブサイトの内容を深く分析する必要がある個人や組織を主な対象としています。一般的な検索エンジンや人工知能アシスタントが提供する広範で浅い結果とは異なり、Crawl4AI は具体的なターゲットウェブサイトに対する深い洞察を提供します。

✨ 主な機能

理想的な使用シーン

• 研究者：特定のウェブサイトや学術リソースから構造化された情報を抽出する
• コンテンツクリエイター：競合他社のコンテンツや業界トレンドを分析する
• データアナリスト：ビジネスインテリジェンスの目的でウェブデータを処理する
• 開発者：ウェブコンテンツ分析機能を必要とするアプリケーションを構築する
• デジタルマーケター：業界ウェブサイト、ブログ、または競合他社のコンテンツを分析する
• ビジネスアナリスト：複数のソースから業界固有の情報を収集する
• 知識労働者：特定の分野のコンテンツを総合的に分析する

Crawl4AI を利用するメリット

一般的な検索や人工知能ツールと比較して、Crawl4AI には以下のような顕著な利点があります。

• 深度重視：広範で表面的な結果ではなく、特定のウェブサイトの全面的な分析に焦点を当てる
• カスタマイズ可能なクローリングパラメータ：クローリングの深度、コンテンツの抽出方法、および処理フローを完全に制御できる
• プログラムによる統合：ウェブコンテンツ分析機能をアプリケーションやデータパイプラインに簡単に統合できる
• 柔軟な人工知能処理：同一のコンテンツに対して異なる分析方法（要約、事実抽出、分類など）を適用できる
• 効率的なコンテンツ理解：高度な言語モデルを通じてテキストから洞察を抽出する
• 強化された意思決定支援：ビジネスおよび技術的な意思決定に信頼性の高いデータを提供する

機能の概要

• ウェブクローリング：Puppeteer と Cheerio を利用して、効率的なページの取得と解析を実現する
• コンテンツ処理：高度な人工知能モデルを使用して、取得したコンテンツを分析および理解する
• 拡張可能なアーキテクチャ：モジュール化された設計で、柔軟な拡張とカスタム機能をサポートする
• ログ記録と監視：Winston を通じて詳細な実行状態の追跡を行う
• セキュリティとコンプライアンス：組み込みの反クローリング対策機能で、ウェブサイトの利用規約に準拠することを保証する

📦 インストール

1. プロジェクトリポジトリをクローンします。

git clone https://github.com/yourusername/crawl4ai.git
cd crawl4ai

2. 依存関係をインストールします。

npm install

3. 環境変数を設定します。

   • PORT をサーバーが実行されるポートに設定します。デフォルトは 3000 です。
   • ANTHROPIC_API_KEY を Anthropic で取得した API キーに設定します。

4. サービスを起動します。

npm start

💻 使用例

基本的な使用法

curl -X POST http://localhost:3000/api/crawl \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com",
    "depth": 1,
    "aiProcessing": {
      "task": "summarize"
    }
  }'

高度な使用法

用例 1：ウェブページの要約を生成する

curl -X POST http://localhost:3000/api/crawl \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/blog/post",
    "depth": 2,
    "aiProcessing": {
      "task": "summarize",
      "options": {
        "length": "short"
      }
    }
  }'

用例 2：ウェブページのテーマを識別する

curl -X POST http://localhost:3000/api/crawl \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/product",
    "depth": 1,
    "aiProcessing": {
      "task": "classify",
      "model": "content_classifier"
    }
  }'

設定オプション

📄 ライセンス

このプロジェクトは MIT ライセンスの下で提供されています。

謝辞

このプロジェクトでは、以下の優れたライブラリを使用しています。

• Express：効率的な Web アプリケーションフレームワーク
• Puppeteer：強力なブラウザ自動化ツール
• Cheerio：高速な HTML 操作ライブラリ
• Winston：柔軟なログ記録ソリューション
• @anthropic-ai/sdk：Anthropic の人工知能開発ツールキット