MCP Crew Risk

🚀 mcp-crew-risk

このプロジェクトは、Model Context Protocol (MCP) に基づくクローラーリスクアセッサーです。ユーザーはこのサーバーが提供するシンプルなAPIインターフェースを通じて、指定したウェブページに対する包括的なクローラーコンプライアンスリスク評価を行うことができます。

🚀 クイックスタート

CLI

npx -y mcp-crew-risk

MCPサーバー設定

{
    "mcpServers": {
        "mcp-crew-risk": {
            "command": "npx",
            "args": [
                "-y",
                "mcp-crew-risk"
            ]
        }
    }
}

✨ 主な機能

MCPベースのウェブサイトクローラーコンプライアンスリスク評価 - 主な機能

1. 対象ウェブサイトのアクセスと基本ステータスチェック ✅ 完了

• タイムアウトと最大5回のリダイレクトをサポートして、対象ウェブサイトのホームページにアクセスします。
• HTTPステータスコードを返して、サイトのアクセス可能性を判断します。
• リダイレクトを検出し、潜在的なリスクについて警告します。

2. 反クローラーメカニズムの検出 ✅ 完了

• サーバーがCloudflareなどの反クローラー保護を使用しているかどうかを検出します。
• JavaScript検証チャレンジ（例：Cloudflare JS Challenge）の存在を検出します。
• ページの <meta name="robots"> タグとHTTPレスポンスヘッダーの X-Robots-Tag を解析します。
• robots.txt を自動的にリクエストして解析し、許可されたパスと許可されていないパスを抽出します。

3. 敏感なコンテンツの検出と法的リスク警告 ✅ 完了

• ページ上の著作権表示と利用規約に関連する情報を検出します。
• 正規表現マッチングを使用して、可能な個人のプライベート情報（メールアドレス、電話番号、ID）を識別します。
• 法的コンプライアンスに関する警告を提供して、侵害とプライバシー漏洩を防止します。

4. 公開APIエンドポイントの検出 ✅ 完了

• 一般的なAPIパス（例：/api/, /v1/, /rest/）にアクセスします。
• APIが公開されているかどうか、認証が必要かどうかを判断し、潜在的なパーミッションとレート制限のリスクについて警告します。

5. 包括的なリスク評価と分類 ✅ 完了

• すべての検出結果に基づいて、3段階のクロール許可レーティングを提供します。
  • allowed：明らかな制限やリスクがなく、一般的に安全にクロールできます。
  • partial：いくつかの技術的またはコンプライアンス上の制限があります。
  • blocked：明らかな反クローラー対策または高いリスクがあり、クロールはお勧めしません。

6. 予定されている機能 🚧 未実装

📦 インストール

git clone https://github.com/Joooook/mcp-crew-risk.git
npm i

📚 ドキュメント

クローラーコンプライアンスリスク評価フレームワークの説明

このフレームワークは、クローラー開発者と運用者に、対象ウェブサイトのクローラーフレンドリー性と潜在的なリスクを評価するための包括的な自動コンプライアンス検出ツールセットを提供することを目的としています。法的、社会倫理、技術の3つの主要な次元をカバーしています。多段階のリスク警告と具体的な推奨事項を通じて、クローラー戦略を合理的に計画し、法的紛争や社会的な悪影響を回避しながら、技術的な安定性と効率を向上させます。

フレームワーク構造

1. 法的リスク

• 検出内容
  • クローラー活動を制限する明示的な利用規約があるかどうか
  • ウェブサイトが著作権情報を宣言しているかどうか、およびコンテンツが著作権保護されているかどうか
  • ページに敏感な個人データ（例：メールアドレス、電話番号、ID番号）が含まれているかどうか
• リスクの重要性 利用規約に違反すると、契約違反、侵害、または刑事責任につながる可能性があります。敏感なデータを収集すると、GDPR、CCPAなどのプライバシー規制に違反する可能性があります。
• 検出例
  • ページコンテンツ内の <meta> タグとキーワードを検出する
  • メールアドレス、電話番号の正規表現マッチング

2. 社会/倫理的リスク

• 検出内容
  • robots.txtが特定のパスへのクローラーアクセスを禁止しているかどうか
  • サイトが展開している反クローラー技術（例：Cloudflare JS Challenge）
  • ユーザーのプライバシーまたは敏感な情報を収集するリスク
• リスクの重要性 過度のクローリングはユーザー体験と信頼を損なう可能性があります。プライベートデータを収集することには倫理的なリスクと社会的責任の問題があります。
• 検出例
  • robots.txtにアクセスして解析する
  • 反クローラーメカニズムとJSチャレンジを検出する
  • 敏感な情報の抽出警告

3. 技術的リスク

• 検出内容
  • アクセス中にリダイレクト、CAPTCHA、JSレンダリングの障害に遭遇するかどうか
  • robots.txtに正常にアクセスしてクローラールールを取得できるかどうか
  • ターゲットAPIパスの露出、可能なパーミッションまたはレート制限の制約
• リスクの重要性 技術的なリスクは、クローラーの失敗、IPブロック、またはデータの不完全性を引き起こし、ビジネスの安定性に影響を与える可能性があります。
• 検出例
  • HTTPステータスコードとレスポンスヘッダーの分析
  • 反クローラー技術の検出
  • APIパスのスキャン

評価システム

• allowed：明らかな制限やリスクがなく、一般的に安全にクロールできます。
• partial：いくつかの制限があります（例：robots.txtが一部のパスを禁止している、反クローラー対策がある）。慎重な操作が必要です。
• blocked：厳しい制限または高いリスクがあります（例：重いJS反クローラーチャレンジ、敏感なデータ保護）。クロールはお勧めしません。

推奨事項

実装プロセス

1. クロール前評価
   対象サイトに対してコンプライアンス評価を実行し、リスクレベルと制限を確認します。
2. コンプライアンス戦略の策定
   評価結果に基づいて、クローラーのアクセス頻度とコンテンツ範囲を調整し、違反や侵害を回避します。
3. クローラーの実行と監視
   クローリング中に技術的な例外とリスクの変化を継続的に監視し、定期的に再評価します。
4. データ処理と保護
   クロールしたデータがプライバシー保護の要件を満たすことを確認し、必要な匿名化を行います。

技術的実装概要

• Axios + node-fetchを使用してHTTPリクエストを行い、タイムアウトとリダイレクトの制御をサポートします。
• robots.txt とページの meta タグを解析して、クローラールールを自動的に識別します。
• 正規表現を使用して、プライバシーに敏感な情報（メールアドレス、電話番号、ID番号など）を検出します。
• 反クローラー技術（例：Cloudflare JS Challenge）と露出したAPIエンドポイントを検出します。
• リスク評価関数を通じて、法的、社会的、技術的なリスク警告と包括的な提案を提供します。

将来の拡張

• Puppeteer/Playwrightを統合して、JavaScriptでレンダリングされたページの検出を行います。
• 利用規約のテキスト更新を自動的に解析して通知します。
• GDPR、CCPAなどの地域法に対する専用の検出モジュールを追加します。
• 機械学習モデルを組み合わせて、プライバシーに敏感なデータの認識精度を向上させます。
• Web UIを提供して、コンプライアンスレポートとリスク提案を表示します。

要約

このコンプライアンスリスク評価フレームワークは、クローラーの開発と運用に対して基礎的かつ包括的なリスク評価を提供します。チームが法律、規制、倫理原則に準拠するのを支援し、技術的な効率とデータ品質を向上させるとともに、潜在的な法的および社会的なリスクを軽減します。

✅ 1. 技術的チェック

2. 法的および倫理的チェック

3. データ保護とプライバシー

4. 実用的な運用提案（コンプライアンスに配慮した戦略）

🧠 一言でまとめると

robots.txt が存在しない ≠ 自由にクロールする許可；技術的なクロール可能性 ≠ 法的な許可；データ、ウェブサイト、ユーザーを尊重することが、コンプライアンスに沿ったクローリングの基礎です。

📄 ライセンス

このプロジェクトは学習目的のみです。貢献や機能リクエストは歓迎します。

連絡先

ビジネス提携のお問い合わせは、deeppathai@outlook.com までお願いします。

MCPアクセスリンク

• 🌐 ModelScope MCPアドレス
  ModelScopeプラットフォームで mcp-crew-risk サービスのテストと統合を行うためのものです。
• 🛠️ Smithery.ai MCPアドレス
  Smitheryプラットフォームを通じて mcp-crew-risk サービスを視覚的に構成して呼び出すためのものです。