# 网页抓取

Claudesidian MCP Server是一个与Obsidian知识库交互的服务项目，提供笔记管理、网页抓取、记忆检索等功能，支持本地化部署和扩展开发。

MCP服务器提供网页内容抓取功能，支持浏览器自动化、OCR和多方法内容提取，帮助LLM获取并处理需要JavaScript渲染或防爬取的网页内容。

Fetch MCP是一个提供网页内容抓取功能的服务器，支持获取HTML、JSON、纯文本和Markdown格式的内容。

一个用于执行XPath查询的MCP服务器，支持对XML/HTML内容进行查询，并可从URL获取内容进行查询。

一个基于Playwright的网页内容抓取并转换为Markdown的MCP服务

基于Playwright的浏览器自动化MCP服务器，提供网页抓取、测试和自动化工具

Scraper.is MCP是一个为AI助手设计的网页抓取工具，通过Model Context Protocol协议集成，支持从任意网站提取内容、截图并以多种格式返回数据。

Firecrawl MCP Server是一个集成Firecrawl网页抓取能力的模型上下文协议服务器，提供丰富的网页抓取、搜索和内容提取功能。

该项目展示如何利用Cloudflare浏览器渲染技术提取网页内容作为LLM上下文，包含API实验和MCP服务器实现。

Firecrawl MCP Server是一个集成Firecrawl网页抓取功能的模型上下文协议服务器，提供网页抓取、爬取、搜索、内容提取和批量处理等功能，支持云API和自托管实例。

一个功能全面的MCP协议服务器，提供网页抓取、数据分析、系统监控、文件操作、API集成和报告生成等高级功能，支持与Claude Desktop等MCP客户端无缝集成。

这是一个用于代码分析和网页抓取的MCP服务器，支持代码质量检查、依赖分析、静态/动态网页抓取和API发现，为AI助手提供开发工具。

MCP数据获取服务器是一个安全、沙盒化的服务器，通过模型控制协议（MCP）获取网页内容并提取数据，不执行JavaScript。

Search Stack 是一个专为 AI Agent 设计的 Web 搜索与抓取中间层，提供统一的多引擎搜索、反爬渲染、Cookie 管理和正文提取 API，旨在解决 AI 在访问网页时遇到的额度限制、反爬拦截和登录态缺失等问题。

Fetcher MCP是一个基于Playwright无头浏览器的网页内容抓取服务，支持JavaScript渲染、智能内容提取和并行处理，提供HTML/Markdown输出格式，适用于动态网页内容获取。

一个集成了BeautifulSoup、Gemini AI和Selenium的网页抓取MCP服务器，用于自动化内容提取与分析。

一个连接Claude桌面版与本地eGet网页爬虫的MCP服务，实现通过本地API抓取网页内容的功能

Dumpling AI MCP服务器是一个集成了多种AI功能和数据处理能力的协议服务器实现

Firecrawl MCP Server是一个集成Firecrawl网页抓取能力的模型上下文协议服务器，提供网页抓取、爬取、搜索、内容提取等功能，支持云API和自托管实例。

Supadata MCP服务器是一个集成Supadata视频和网页抓取能力的模型上下文协议服务器实现，提供视频转录提取、网页抓取、爬取和发现功能，支持自动重试和速率限制。

一个结合Brave搜索和Puppeteer网页抓取的深度研究MCP服务器，能够提取完整网页内容并探索链接页面。

一个用于获取网页内容和YouTube视频字幕的MCP服务器

ScrapeGraph MCP服务器是一个生产就绪的模型上下文协议服务器，提供与ScrapeGraph AI API的无缝集成，使语言模型能够利用先进的AI驱动的网页抓取功能。

一个提供网页内容抓取功能的MCP服务器，支持获取HTML、JSON、纯文本和Markdown格式的内容。

FetchSERP MCP服务器是一个提供SEO分析、搜索引擎结果获取、网页抓取和关键词研究功能的API服务，支持多种部署方式。

这是一个基于Model Context Protocol (MCP)的Playwright网页内容获取服务器，提供网页导航、内容抓取、交互元素检测和鼠标操作模拟等功能。

MCP Fetch是一个为Claude Desktop设计的服务工具，主要用于抓取网页内容并处理图片，使其适合粘贴到Claude中使用。它支持自动下载和运行，需要macOS系统，并提供图片大小和数量的限制处理。

基于MCP协议的网页内容获取与处理工具

ScrAPI MCP服务器是一个基于ScrAPI服务的网页抓取工具，提供HTML和Markdown两种格式的网页内容提取功能。

Firecrawl MCP Server是一个集成Firecrawl网页抓取能力的模型上下文协议服务器，提供网页抓取、爬取、搜索、内容提取和批量处理等功能，支持云端和自托管部署。