MCP Crew Risk

🚀 mcp-crew-risk

基於模型上下文協議（MCP）的爬蟲風險評估器，提供簡單的 API 接口，可對指定網頁進行全面的爬蟲合規風險評估。

🚀 快速開始

CLI

npx -y mcp-crew-risk

MCP 服務器配置

{
    "mcpServers": {
        "mcp-crew-risk": {
            "command": "npx",
            "args": [
                "-y",
                "mcp-crew-risk"
            ]
        }
    }
}

✨ 主要特性

MCP 爬蟲合規風險評估框架主要特性：

1. 目標網站訪問與基本狀態檢查 ✅ 已完成

• 支持設置超時並最多進行 5 次重定向，訪問目標網站首頁。
• 返回 HTTP 狀態碼，以判斷網站的可訪問性。
• 檢測重定向情況，並對潛在風險發出警告。

2. 反爬蟲機制檢測 ✅ 已完成

• 檢測服務器是否使用 Cloudflare 或類似的反爬蟲保護。
• 檢測是否存在 JavaScript 驗證挑戰（如 Cloudflare JS 挑戰）。
• 解析頁面 <meta name="robots"> 標籤和 HTTP 響應頭 X-Robots-Tag。
• 自動請求並解析 robots.txt，提取允許和禁止的路徑。

3. 敏感內容檢測與法律風險警告 ✅ 已完成

• 檢測頁面上的版權聲明和服務條款相關信息。
• 通過正則匹配識別可能的個人隱私信息（電子郵件、電話、身份證）。
• 提供法律合規警告，防止侵權和隱私洩露。

4. 公共 API 端點檢測 ✅ 已完成

• 訪問常見的 API 路徑（如 /api/、/v1/、/rest/）。
• 判斷 API 是否開放以及是否需要身份驗證；對潛在的權限和速率限制風險發出警告。

5. 綜合風險評估與分類 ✅ 已完成

• 根據所有檢測結果提供三級爬取許可評級：
  • allowed：無明顯限制或風險。
  • partial：存在一些技術或合規限制。
  • blocked：存在明顯的反爬蟲措施或高風險。

6. 規劃中的特性 🚧 待完成

📦 安裝指南

git clone https://github.com/Joooook/mcp-crew-risk.git
npm i

📚 詳細文檔

爬蟲合規風險評估框架描述

本框架旨在為爬蟲開發者和運營者提供一套全面的自動化合規檢測工具，以評估目標網站對爬蟲的友好程度和潛在風險。它涵蓋法律、社會倫理和技術三個主要維度。通過多級風險警告和具體建議，幫助合理規劃爬蟲策略，避免法律糾紛和負面社會影響，同時提高技術穩定性和效率。

框架結構

1. 法律風險

• 檢測內容
  • 是否有明確的服務條款限制爬蟲活動。
  • 網站是否聲明版權信息以及內容是否受版權保護。
  • 頁面是否包含敏感個人數據（如電子郵件、電話號碼、身份證號碼）。
• 風險意義 違反條款可能導致違約、侵權或刑事責任；抓取敏感數據可能違反 GDPR、CCPA 等隱私法規。
• 檢測示例
  • 檢測 <meta> 標籤和頁面內容中的關鍵詞。
  • 使用正則表達式匹配電子郵件、電話號碼。

2. 社會/倫理風險

• 檢測內容
  • robots.txt 是否禁止爬蟲訪問特定路徑。
  • 網站部署的反爬蟲技術（如 Cloudflare JS 挑戰）。
  • 收集用戶隱私或敏感信息的風險。
• 風險意義 過度爬取可能損害用戶體驗和信任；收集私人數據存在倫理風險和社會責任問題。
• 檢測示例
  • 訪問並解析 robots.txt。
  • 檢測反爬蟲機制和 JS 挑戰。
  • 對敏感信息提取發出警告。

3. 技術風險

• 檢測內容
  • 訪問過程中是否遇到重定向、驗證碼、JS 渲染障礙。
  • 是否能夠成功訪問 robots.txt 以獲取爬蟲規則。
  • 目標 API 路徑的暴露情況，可能的權限或速率限制。
• 風險意義 技術風險可能導致爬蟲失敗、IP 封禁或數據不完整，影響業務穩定性。
• 檢測示例
  • HTTP 狀態碼和響應頭分析。
  • 反爬蟲技術檢測。
  • API 路徑掃描。

評級系統

• allowed：無明顯限制或風險，通常可以安全爬取。
• partial：存在一些限制（如 robots.txt 禁止某些路徑、有反爬蟲措施），需要謹慎操作。
• blocked：存在嚴重限制或高風險（如大量 JS 反爬蟲挑戰、敏感數據保護），不建議爬取。

建議

實施流程

1. 爬取前評估：對目標網站進行合規評估，確認風險級別和限制。
2. 合規策略制定：根據評估結果調整爬蟲訪問頻率和內容範圍，避免違規。
3. 爬蟲執行與監控：在爬取過程中持續監控技術異常和風險變化；定期重新評估。
4. 數據處理與保護：確保爬取的數據符合隱私保護要求，並進行必要的匿名化處理。

技術實現概述

• 使用 Axios + node-fetch 進行 HTTP 請求，支持超時和重定向控制。
• 解析 robots.txt 和頁面 meta 標籤，自動識別爬蟲規則。
• 使用正則表達式檢測隱私敏感信息（電子郵件、電話、身份證號碼等）。
• 檢測反爬蟲技術（如 Cloudflare JS 挑戰）和暴露的 API 端點。
• 通過風險評估函數提供法律、社會和技術風險警告及綜合建議。

未來擴展

• 集成 Puppeteer/Playwright 進行 JavaScript 渲染頁面檢測。
• 自動解析並通知服務條款文本更新。
• 為 GDPR、CCPA 等地區法律添加專用檢測模塊。
• 結合機器學習模型提高隱私敏感數據識別準確性。
• 提供 Web UI 顯示合規報告和風險建議。

技術檢查

法律和倫理檢查

數據保護和隱私

實際操作建議（合規友好策略）

一句話總結

沒有 robots.txt 並不意味著可以自由爬取；技術上可爬取並不等同於法律上允許；尊重數據、網站和用戶，這是合規爬取的基礎。

🔧 技術細節

本項目使用 Axios + node-fetch 進行 HTTP 請求，支持超時和重定向控制。通過解析 robots.txt 和頁面 meta 標籤，自動識別爬蟲規則。使用正則表達式檢測隱私敏感信息，同時檢測反爬蟲技術和暴露的 API 端點。最後通過風險評估函數提供法律、社會和技術風險警告及綜合建議。

📄 許可證

文檔未提及相關信息。

🧠 MCP 訪問鏈接

• 🌐 ModelScope MCP 地址：用於在 ModelScope 平臺上測試和集成 mcp-crew-risk 服務。
• 🛠️ Smithery.ai MCP 地址：用於通過 Smithery 平臺直觀地配置和調用 mcp-crew-risk 服務。

💭 說明

本項目僅用於學習目的。歡迎貢獻代碼和提出功能需求。

聯繫我們

商務合作郵箱：deeppathai@outlook.com