Scraper MCP
S

Scraper MCP

一个优化的MCP协议网页抓取服务器,通过服务器端HTML转Markdown和CSS选择器过滤,大幅减少AI处理的令牌使用量,提供高效的内容提取功能
2.5分
5.3K

什么是Scraper MCP?

Scraper MCP是一个专门为AI应用设计的网页内容提取服务器。它能够智能地抓取网页内容,过滤掉无关的HTML标记、广告和导航元素,只保留您真正需要的内容,然后以Markdown或纯文本格式提供给AI使用。

如何使用Scraper MCP?

使用非常简单:通过Docker一键部署服务器,然后在您的AI应用(如Claude Desktop)中配置MCP连接。之后,AI就可以直接调用各种内容提取工具来获取网页信息。

适用场景

适合需要从网页提取信息的各种AI应用场景,包括:内容摘要、信息收集、数据提取、链接分析、文档处理等。特别适合需要处理大量网页内容的AI助手。

主要功能

Token优化
通过服务器端内容过滤,将原始HTML转换为干净文本,减少70-90%的token消耗
CSS选择器过滤
使用CSS选择器精确提取特定内容区域,如文章主体、产品信息等
多格式输出
支持HTML、Markdown、纯文本和链接提取四种输出格式,满足不同需求
批量处理
支持同时处理多个URL,自动重试机制确保成功率
智能缓存
三层缓存系统避免重复请求,提高效率
实时监控
内置Web仪表板,实时查看服务器状态、请求统计和缓存情况
优势
大幅减少AI处理成本:相比原始HTML,可节省70-90%的token使用量
提高处理效率:服务器端预处理,AI只需处理干净的内容
易于集成:支持标准MCP协议,与Claude Desktop等AI应用无缝集成
灵活配置:支持代理、缓存、重试等多种配置选项
实时监控:内置Web界面,方便监控和管理
局限性
需要额外部署:相比直接调用API,需要部署和维护服务器
依赖网络:需要稳定的网络连接来抓取网页内容
动态内容限制:对于JavaScript渲染的复杂动态页面支持有限
配置复杂度:高级功能需要一定的技术知识进行配置

如何使用

部署服务器
使用Docker快速部署Scraper MCP服务器
配置AI客户端
在Claude Desktop等AI应用中添加MCP服务器连接
开始使用
在AI对话中直接使用各种内容提取工具
监控状态
通过Web界面监控服务器运行状态

使用案例

博客文章摘要
提取博客文章的主要内容,忽略导航、广告等无关信息
网站链接分析
分析网站的所有内部和外部链接
产品信息收集
从电商网站提取产品信息
多页面批量处理
同时处理多个相关页面

常见问题

Scraper MCP与直接使用网页API有什么区别?
如何配置代理服务器?
支持JavaScript渲染的页面吗?
如何处理反爬虫机制?
缓存数据存储在哪里?
如何监控服务器状态?

相关资源

GitHub仓库
项目源代码和最新更新
Docker Hub镜像
官方Docker镜像
MCP协议文档
Model Context Protocol官方规范
Claude Desktop
支持MCP的AI桌面应用

安装

复制以下命令到你的Client进行配置
{
  "mcpServers": {
    "scraper": {
      "url": "http://localhost:8000/mcp"
    }
  }
}
注意:您的密钥属于敏感信息,请勿与任何人分享。

替代品

R
Rsdoctor
Rsdoctor 是一款专为 Rspack 生态系统打造的构建分析工具,全面兼容 webpack,提供可视化构建分析、多维度性能诊断及智能优化建议,帮助开发者提升构建效率与工程质量。
TypeScript
5.7K
5分
N
Next Devtools MCP
Next.js开发工具MCP服务器,为Claude、Cursor等AI编程助手提供Next.js开发工具和实用程序,包括运行时诊断、开发自动化和文档访问功能。
TypeScript
6.3K
5分
T
Testkube
Testkube是一个面向云原生应用的测试编排与执行框架,提供统一平台来定义、运行和分析测试,支持现有测试工具和Kubernetes基础设施。
Go
5.1K
5分
M
MCP Windbg
一个MCP服务器,将AI模型与WinDbg/CDB集成,用于分析Windows崩溃转储文件和进行远程调试,支持自然语言交互执行调试命令。
Python
7.5K
5分
R
Runno
Runno是一个JavaScript工具包集合,用于在浏览器和Node.js等环境中安全地运行多种编程语言的代码,通过WebAssembly和WASI实现沙盒化执行,支持Python、Ruby、JavaScript、SQLite、C/C++等语言,并提供Web组件、MCP服务器等集成方式。
TypeScript
5.9K
5分
P
Praisonai
PraisonAI是一个生产就绪的多AI智能体框架,具有自反思功能,旨在创建AI智能体来自动化解决从简单任务到复杂挑战的各种问题。它通过将PraisonAI智能体、AG2和CrewAI集成到一个低代码解决方案中,简化了多智能体LLM系统的构建和管理,强调简单性、定制化和有效的人机协作。
Python
4.4K
5分
N
Netdata
Netdata是一个开源实时基础设施监控平台,提供每秒级指标收集、可视化、机器学习驱动的异常检测和自动化告警,无需复杂配置即可实现全栈监控。
Go
6.4K
5分
M
MCP Server
Mapbox MCP服务器是一个Node.js实现的模型上下文协议服务器,为AI应用提供Mapbox地理空间API的访问能力,包括地理编码、兴趣点搜索、路线规划、等时线分析和静态地图生成等功能。
TypeScript
6.5K
4分
F
Figma Context MCP
Framelink Figma MCP Server是一个为AI编程工具(如Cursor)提供Figma设计数据访问的服务器,通过简化Figma API响应,帮助AI更准确地实现设计到代码的一键转换。
TypeScript
65.0K
4.5分
D
Duckduckgo MCP Server
已认证
DuckDuckGo搜索MCP服务器,为Claude等LLM提供网页搜索和内容抓取服务
Python
71.8K
4.3分
F
Firecrawl MCP Server
Firecrawl MCP Server是一个集成Firecrawl网页抓取能力的模型上下文协议服务器,提供丰富的网页抓取、搜索和内容提取功能。
TypeScript
122.3K
5分
E
Edgeone Pages MCP Server
EdgeOne Pages MCP是一个通过MCP协议快速部署HTML内容到EdgeOne Pages并获取公开URL的服务
TypeScript
28.6K
4.8分
B
Baidu Map
已认证
百度地图MCP Server是国内首个兼容MCP协议的地图服务,提供地理编码、路线规划等10个标准化API接口,支持Python和Typescript快速接入,赋能智能体实现地图相关功能。
Python
44.0K
4.5分
C
Context7
Context7 MCP是一个为AI编程助手提供实时、版本特定文档和代码示例的服务,通过Model Context Protocol直接集成到提示中,解决LLM使用过时信息的问题。
TypeScript
90.0K
4.7分
E
Exa Web Search
已认证
Exa MCP Server是一个为AI助手(如Claude)提供网络搜索功能的服务器,通过Exa AI搜索API实现实时、安全的网络信息获取。
TypeScript
46.9K
5分
M
Minimax MCP Server
MiniMax Model Context Protocol (MCP) 是一个官方服务器,支持与强大的文本转语音、视频/图像生成API交互,适用于多种客户端工具如Claude Desktop、Cursor等。
Python
53.8K
4.8分
AIBase
智启未来,您的人工智能解决方案智库
© 2026AIBase