Scraper MCP
S

Scraper MCP

一个优化的MCP协议网页抓取服务器,通过服务器端HTML转Markdown和CSS选择器过滤,大幅减少AI处理的令牌使用量,提供高效的内容提取功能
2.5分
4.5K

什么是Scraper MCP?

Scraper MCP是一个专门为AI应用设计的网页内容提取服务器。它能够智能地抓取网页内容,过滤掉无关的HTML标记、广告和导航元素,只保留您真正需要的内容,然后以Markdown或纯文本格式提供给AI使用。

如何使用Scraper MCP?

使用非常简单:通过Docker一键部署服务器,然后在您的AI应用(如Claude Desktop)中配置MCP连接。之后,AI就可以直接调用各种内容提取工具来获取网页信息。

适用场景

适合需要从网页提取信息的各种AI应用场景,包括:内容摘要、信息收集、数据提取、链接分析、文档处理等。特别适合需要处理大量网页内容的AI助手。

主要功能

Token优化
通过服务器端内容过滤,将原始HTML转换为干净文本,减少70-90%的token消耗
CSS选择器过滤
使用CSS选择器精确提取特定内容区域,如文章主体、产品信息等
多格式输出
支持HTML、Markdown、纯文本和链接提取四种输出格式,满足不同需求
批量处理
支持同时处理多个URL,自动重试机制确保成功率
智能缓存
三层缓存系统避免重复请求,提高效率
实时监控
内置Web仪表板,实时查看服务器状态、请求统计和缓存情况
优势
大幅减少AI处理成本:相比原始HTML,可节省70-90%的token使用量
提高处理效率:服务器端预处理,AI只需处理干净的内容
易于集成:支持标准MCP协议,与Claude Desktop等AI应用无缝集成
灵活配置:支持代理、缓存、重试等多种配置选项
实时监控:内置Web界面,方便监控和管理
局限性
需要额外部署:相比直接调用API,需要部署和维护服务器
依赖网络:需要稳定的网络连接来抓取网页内容
动态内容限制:对于JavaScript渲染的复杂动态页面支持有限
配置复杂度:高级功能需要一定的技术知识进行配置

如何使用

部署服务器
使用Docker快速部署Scraper MCP服务器
配置AI客户端
在Claude Desktop等AI应用中添加MCP服务器连接
开始使用
在AI对话中直接使用各种内容提取工具
监控状态
通过Web界面监控服务器运行状态

使用案例

博客文章摘要
提取博客文章的主要内容,忽略导航、广告等无关信息
网站链接分析
分析网站的所有内部和外部链接
产品信息收集
从电商网站提取产品信息
多页面批量处理
同时处理多个相关页面

常见问题

Scraper MCP与直接使用网页API有什么区别?
如何配置代理服务器?
支持JavaScript渲染的页面吗?
如何处理反爬虫机制?
缓存数据存储在哪里?
如何监控服务器状态?

相关资源

GitHub仓库
项目源代码和最新更新
Docker Hub镜像
官方Docker镜像
MCP协议文档
Model Context Protocol官方规范
Claude Desktop
支持MCP的AI桌面应用

安装

复制以下命令到你的Client进行配置
{
  "mcpServers": {
    "scraper": {
      "url": "http://localhost:8000/mcp"
    }
  }
}
注意:您的密钥属于敏感信息,请勿与任何人分享。

替代品

M
MCP Agent Mail
MCP Agent Mail是一个为AI编程代理设计的邮件式协调层,提供身份管理、消息收发、文件预留和搜索功能,支持多代理异步协作和冲突避免。
Python
6.0K
5分
K
Klavis
Klavis AI是一个开源项目,提供在Slack、Discord和Web平台上简单易用的MCP(模型上下文协议)服务,包括报告生成、YouTube工具、文档转换等多种功能,支持非技术用户和开发者使用AI工作流。
TypeScript
10.9K
5分
M
MCP
微软官方MCP服务器,为AI助手提供最新微软技术文档的搜索和获取功能
12.1K
5分
A
Aderyn
Aderyn是一个开源的Solidity智能合约静态分析工具,由Rust编写,帮助开发者和安全研究人员发现Solidity代码中的漏洞。它支持Foundry和Hardhat项目,可生成多种格式报告,并提供VSCode扩展。
Rust
7.4K
5分
D
Devtools Debugger MCP
Node.js调试器MCP服务器,提供基于Chrome DevTools协议的完整调试功能,包括断点设置、单步执行、变量检查和表达式评估等
TypeScript
7.2K
4分
S
Scrapling
Scrapling是一个自适应网页抓取库,能自动学习网站变化并重新定位元素,支持多种抓取方式和AI集成,提供高性能解析和开发者友好体验。
Python
9.9K
5分
M
Mcpjungle
MCPJungle是一个自托管的MCP网关,用于集中管理和代理多个MCP服务器,为AI代理提供统一的工具访问接口。
Go
0
4.5分
C
Cipher
Cipher是一个专为编程AI代理设计的开源记忆层框架,通过MCP协议与各种IDE和AI编码助手集成,提供自动记忆生成、团队记忆共享和双系统记忆管理等核心功能。
TypeScript
0
5分
F
Figma Context MCP
Framelink Figma MCP Server是一个为AI编程工具(如Cursor)提供Figma设计数据访问的服务器,通过简化Figma API响应,帮助AI更准确地实现设计到代码的一键转换。
TypeScript
58.1K
4.5分
D
Duckduckgo MCP Server
已认证
DuckDuckGo搜索MCP服务器,为Claude等LLM提供网页搜索和内容抓取服务
Python
63.4K
4.3分
F
Firecrawl MCP Server
Firecrawl MCP Server是一个集成Firecrawl网页抓取能力的模型上下文协议服务器,提供丰富的网页抓取、搜索和内容提取功能。
TypeScript
107.2K
5分
M
Minimax MCP Server
MiniMax Model Context Protocol (MCP) 是一个官方服务器,支持与强大的文本转语音、视频/图像生成API交互,适用于多种客户端工具如Claude Desktop、Cursor等。
Python
49.1K
4.8分
B
Baidu Map
已认证
百度地图MCP Server是国内首个兼容MCP协议的地图服务,提供地理编码、路线规划等10个标准化API接口,支持Python和Typescript快速接入,赋能智能体实现地图相关功能。
Python
40.3K
4.5分
E
Edgeone Pages MCP Server
EdgeOne Pages MCP是一个通过MCP协议快速部署HTML内容到EdgeOne Pages并获取公开URL的服务
TypeScript
27.2K
4.8分
E
Exa Web Search
已认证
Exa MCP Server是一个为AI助手(如Claude)提供网络搜索功能的服务器,通过Exa AI搜索API实现实时、安全的网络信息获取。
TypeScript
42.2K
5分
C
Context7
Context7 MCP是一个为AI编程助手提供实时、版本特定文档和代码示例的服务,通过Model Context Protocol直接集成到提示中,解决LLM使用过时信息的问题。
TypeScript
78.4K
4.7分
AIBase
智启未来,您的人工智能解决方案智库
© 2025AIBase