Apify MCP服务器是一个基于模型上下文协议（MCP）的工具，允许AI助手通过数千个现成的爬虫、抓取器和自动化工具（Apify Actor）从社交媒体、搜索引擎、电商等网站提取数据。它支持OAuth和Skyfire代理支付，可通过HTTPS端点或本地stdio方式集成到Claude、VS Code等MCP客户端中。

Crawl4AI RAG MCP Server是一个集成网络爬虫和RAG功能的AI代理服务，支持智能URL检测、递归爬取、并行处理和向量搜索，旨在为AI编码助手提供强大的知识获取和检索能力。

一个基于MCP协议的网站安全扫描工具，集成dirsearch目录扫描和firecrawl爬虫技术，可自动化识别网站技术栈并分类漏洞风险等级

一个基于MCP协议的RSS爬虫服务器，用于抓取和管理RSS订阅内容并与LLM集成。

PodCrawlerMCP是一个通过网页爬虫发现播客内容的MCP服务，帮助AI助手根据主题查找播客节目和单集。

MediaCrawler MCP服务是将社交媒体爬虫升级为AI助手可直接调用的标准化工具，支持多平台数据获取，具有登录外部化、浏览器复用和结构化输出等特性

Dafty MCP是一个独立开发的开源项目，通过网页爬虫与Daft.ie交互，提供爱尔兰租房信息搜索和详情查询功能。

AI-Cursor-Scraping-Assistant是一个基于Cursor AI和MCP协议的网络爬虫生成工具，能够快速分析网站结构并自动生成Scrapy或Camoufox爬虫代码。项目包含Cursor规则集和MCP工具集两大组件，支持电商PLP/PDP页面抓取，具备反爬检测和绕过能力。

mcp-server-webcrawl是一个高级网络爬虫数据搜索与检索工具，专为AI客户端设计，支持多种爬虫格式（如WARC、wget等），提供全文搜索、布尔逻辑查询及资源类型/状态过滤功能。它可与Claude Desktop无缝集成，通过Python安装，适用于构建网站知识库或进行SEO/性能审计等任务。

Web爬虫MCP服务器部署指南

SEO爬虫MCP服务器，用于网站爬取和SEO分析，通过本地SQLite数据库存储和分析网站数据，提供全面的技术SEO检查和安全审计功能。

SERP MCP Server是一个基于Model Context Protocol的谷歌搜索结果爬虫服务器，支持指纹轮换、地理位置编码和精简模式，可自动提取有机结果、相关搜索等数据。

一个基于Python的MCP网络爬虫项目，用于提取并保存网站内容为Markdown文件，支持批量处理和多线程配置。

一个连接Claude桌面版与本地eGet网页爬虫的MCP服务，实现通过本地API抓取网页内容的功能

基于MCP协议的网站爬虫合规风险评估工具，提供法律、社会伦理和技术三个维度的风险检测，帮助开发者评估目标网站的爬虫友好性和潜在风险。

Crawlab MCP服务器是一个连接AI应用与Crawlab爬虫平台的中间件，通过标准化协议实现自然语言交互

Firecrawl MCP Server是一个基于Firecrawl API的网络爬虫和数据提取服务，提供网页抓取、内容搜索、站点爬取和结构化数据提取功能。

一个提供谷歌搜索和网页内容查看功能的MCP服务器，具备高级反爬虫规避技术

该项目是一个基于Elasticsearch的语义搜索工具，用于对Search Labs博客文章进行语义检索，包含爬虫配置、索引映射更新和MCP服务器集成功能。

JMComic AI是为JMComic漫画爬虫提供的AI增强工具，通过MCP协议将搜索、下载等功能暴露给本地AI客户端，让用户能用自然语言操作漫画下载，并注入使用技巧知识提升AI决策能力。

LinkedIn数据爬虫工具，支持个人资料、公司信息、帖子搜索等多种数据提取，提供Python库、命令行和MCP服务器三种使用方式，内置反检测机制。

Crawl4AI是一个基于MCP架构的智能网络爬虫服务器，结合Claude AI模型提供网站内容分析与处理功能，支持可定制的爬取深度和AI处理任务，适用于研究、内容创作、数据分析等多种场景。

该项目是一个基于Elasticsearch的语义搜索工具，用于对Search Labs博客文章进行语义检索，包含爬虫配置、索引映射更新和MCP服务器集成功能。

一个基于AI的网络爬虫项目，提供MCP服务

Crawlab MCP服务是一个连接AI应用与Crawlab爬虫平台的中间件，通过标准协议实现自然语言交互，支持爬虫管理、任务控制和文件操作等功能。

该项目是一个基于Node.js的MCP服务器爬虫工具，用于从glama.ai网站抓取并提取MCP服务器信息。用户需先安装依赖，运行爬虫脚本获取服务器链接，再通过处理脚本提取详细数据。

一个基于FastMCP和httpx的LinkedIn个人资料爬虫项目，通过RapidAPI异步获取数据，并可选择性包含技能、认证等信息。

一个用于蜘蛛爬虫交互和自动化的MCP服务器，提供网页抓取和爬取工具，目前处于早期开发阶段。

基于playwright的财经数据爬虫工具，支持多网站查询和MCP协议，提供表格数据抓取和大语言模型调用功能。

Ultra-MCP-Servers是一个开源项目，支持用户创建和管理自己的Model Context Protocol (MCP)服务器，提供多种工具和服务集成，如YouTube转录、云存储、网络爬虫等，并鼓励社区贡献。

一个基于纯爬虫技术的网页搜索MCP服务，支持Bing网页和新闻搜索，无需官方API，包含智能反检测和URL清理功能。

基于Node.js的纯爬虫网络搜索MCP服务，支持Bing网页和新闻搜索，无需官方API，提供高性能爬取和健康监控功能。

Firecrawl MCP服务器是一个基于Firecrawl API的网络爬虫服务，提供网页抓取、内容搜索、站点爬取和结构化数据提取功能，支持多种配置选项和输出格式。

Crawl4AI MCP服务器是一个基于Python的网络爬虫项目，集成了Playwright浏览器自动化、DuckDuckGo搜索引擎和MCP协议SDK，用于智能网络数据采集。