MCP Crew Risk

🚀 mcp-crew-risk

基于模型上下文协议（MCP）的爬虫风险评估器，提供简单的 API 接口，可对指定网页进行全面的爬虫合规风险评估。

🚀 快速开始

CLI

npx -y mcp-crew-risk

MCP 服务器配置

{
    "mcpServers": {
        "mcp-crew-risk": {
            "command": "npx",
            "args": [
                "-y",
                "mcp-crew-risk"
            ]
        }
    }
}

✨ 主要特性

MCP 爬虫合规风险评估框架主要特性：

1. 目标网站访问与基本状态检查 ✅ 已完成

• 支持设置超时并最多进行 5 次重定向，访问目标网站首页。
• 返回 HTTP 状态码，以判断网站的可访问性。
• 检测重定向情况，并对潜在风险发出警告。

2. 反爬虫机制检测 ✅ 已完成

• 检测服务器是否使用 Cloudflare 或类似的反爬虫保护。
• 检测是否存在 JavaScript 验证挑战（如 Cloudflare JS 挑战）。
• 解析页面 <meta name="robots"> 标签和 HTTP 响应头 X-Robots-Tag。
• 自动请求并解析 robots.txt，提取允许和禁止的路径。

3. 敏感内容检测与法律风险警告 ✅ 已完成

• 检测页面上的版权声明和服务条款相关信息。
• 通过正则匹配识别可能的个人隐私信息（电子邮件、电话、身份证）。
• 提供法律合规警告，防止侵权和隐私泄露。

4. 公共 API 端点检测 ✅ 已完成

• 访问常见的 API 路径（如 /api/、/v1/、/rest/）。
• 判断 API 是否开放以及是否需要身份验证；对潜在的权限和速率限制风险发出警告。

5. 综合风险评估与分类 ✅ 已完成

• 根据所有检测结果提供三级爬取许可评级：
  • allowed：无明显限制或风险。
  • partial：存在一些技术或合规限制。
  • blocked：存在明显的反爬虫措施或高风险。

6. 规划中的特性 🚧 待完成

📦 安装指南

git clone https://github.com/Joooook/mcp-crew-risk.git
npm i

📚 详细文档

爬虫合规风险评估框架描述

本框架旨在为爬虫开发者和运营者提供一套全面的自动化合规检测工具，以评估目标网站对爬虫的友好程度和潜在风险。它涵盖法律、社会伦理和技术三个主要维度。通过多级风险警告和具体建议，帮助合理规划爬虫策略，避免法律纠纷和负面社会影响，同时提高技术稳定性和效率。

框架结构

1. 法律风险

• 检测内容
  • 是否有明确的服务条款限制爬虫活动。
  • 网站是否声明版权信息以及内容是否受版权保护。
  • 页面是否包含敏感个人数据（如电子邮件、电话号码、身份证号码）。
• 风险意义 违反条款可能导致违约、侵权或刑事责任；抓取敏感数据可能违反 GDPR、CCPA 等隐私法规。
• 检测示例
  • 检测 <meta> 标签和页面内容中的关键词。
  • 使用正则表达式匹配电子邮件、电话号码。

2. 社会/伦理风险

• 检测内容
  • robots.txt 是否禁止爬虫访问特定路径。
  • 网站部署的反爬虫技术（如 Cloudflare JS 挑战）。
  • 收集用户隐私或敏感信息的风险。
• 风险意义 过度爬取可能损害用户体验和信任；收集私人数据存在伦理风险和社会责任问题。
• 检测示例
  • 访问并解析 robots.txt。
  • 检测反爬虫机制和 JS 挑战。
  • 对敏感信息提取发出警告。

3. 技术风险

• 检测内容
  • 访问过程中是否遇到重定向、验证码、JS 渲染障碍。
  • 是否能够成功访问 robots.txt 以获取爬虫规则。
  • 目标 API 路径的暴露情况，可能的权限或速率限制。
• 风险意义 技术风险可能导致爬虫失败、IP 封禁或数据不完整，影响业务稳定性。
• 检测示例
  • HTTP 状态码和响应头分析。
  • 反爬虫技术检测。
  • API 路径扫描。

评级系统

• allowed：无明显限制或风险，通常可以安全爬取。
• partial：存在一些限制（如 robots.txt 禁止某些路径、有反爬虫措施），需要谨慎操作。
• blocked：存在严重限制或高风险（如大量 JS 反爬虫挑战、敏感数据保护），不建议爬取。

建议

实施流程

1. 爬取前评估：对目标网站进行合规评估，确认风险级别和限制。
2. 合规策略制定：根据评估结果调整爬虫访问频率和内容范围，避免违规。
3. 爬虫执行与监控：在爬取过程中持续监控技术异常和风险变化；定期重新评估。
4. 数据处理与保护：确保爬取的数据符合隐私保护要求，并进行必要的匿名化处理。

技术实现概述

• 使用 Axios + node-fetch 进行 HTTP 请求，支持超时和重定向控制。
• 解析 robots.txt 和页面 meta 标签，自动识别爬虫规则。
• 使用正则表达式检测隐私敏感信息（电子邮件、电话、身份证号码等）。
• 检测反爬虫技术（如 Cloudflare JS 挑战）和暴露的 API 端点。
• 通过风险评估函数提供法律、社会和技术风险警告及综合建议。

未来扩展

• 集成 Puppeteer/Playwright 进行 JavaScript 渲染页面检测。
• 自动解析并通知服务条款文本更新。
• 为 GDPR、CCPA 等地区法律添加专用检测模块。
• 结合机器学习模型提高隐私敏感数据识别准确性。
• 提供 Web UI 显示合规报告和风险建议。

技术检查

法律和伦理检查

数据保护和隐私

实际操作建议（合规友好策略）

一句话总结

没有 robots.txt 并不意味着可以自由爬取；技术上可爬取并不等同于法律上允许；尊重数据、网站和用户，这是合规爬取的基础。

🔧 技术细节

本项目使用 Axios + node-fetch 进行 HTTP 请求，支持超时和重定向控制。通过解析 robots.txt 和页面 meta 标签，自动识别爬虫规则。使用正则表达式检测隐私敏感信息，同时检测反爬虫技术和暴露的 API 端点。最后通过风险评估函数提供法律、社会和技术风险警告及综合建议。

📄 许可证

文档未提及相关信息。

🧠 MCP 访问链接

• 🌐 ModelScope MCP 地址：用于在 ModelScope 平台上测试和集成 mcp-crew-risk 服务。
• 🛠️ Smithery.ai MCP 地址：用于通过 Smithery 平台直观地配置和调用 mcp-crew-risk 服务。

💭 说明

本项目仅用于学习目的。欢迎贡献代码和提出功能需求。

联系我们

商务合作邮箱：deeppathai@outlook.com