网页抓取

# 网页抓取

ScrapeGraph MCP Server是一个生产就绪的模型上下文协议服务器，提供与ScrapeGraph AI API的无缝集成，使语言模型能够利用先进的AI驱动网页抓取功能。

Tanevanwifferen Usescraper MCP Server

一个基于TypeScript的MCP服务器，提供网页内容抓取功能，支持多种格式输出。

Data MCP Server

Data MCP Server是一个提供网页抓取、结构化数据提取和爬取功能的工具集，同时支持多种浏览器代理工具如OpenAI CUA和Claude Computer Use。

AgentQL MCP Server是一个集成AgentQL数据提取能力的模型上下文协议服务器，支持从网页中提取结构化数据。

一个集成了BeautifulSoup、Gemini AI和Selenium的网页抓取MCP服务器，用于自动化内容提取与分析。

Claudesidian MCP Server是一个与Obsidian知识库交互的服务项目，提供笔记管理、网页抓取、记忆检索等功能，支持本地化部署和扩展开发。

一个强大的MCP服务器，用于以多种格式（HTML、JSON、Markdown、纯文本）获取和转换网页内容。

Usescraper MCP Server

一个基于TypeScript的MCP服务器，提供网页内容抓取功能

Playwright MCP Server

这是一个基于Model Context Protocol (MCP)的Playwright网页内容获取服务，提供网页导航、内容抓取、交互元素检测和鼠标操作模拟等功能。

Fetcher MCP是一个基于Playwright无头浏览器的MCP服务器，专门用于抓取网页内容。它支持JavaScript执行、智能内容提取、并行处理和多格式输出，适用于处理动态网页和批量抓取任务。

Search Fetch Server MCP

一个基于TypeScript的MCP服务器，实现了简单的笔记系统，提供笔记资源管理、URL抓取、搜索引擎查询和笔记摘要生成功能。

Firecrawl MCP Server

Firecrawl MCP Server是一个集成Firecrawl网页抓取能力的模型上下文协议服务器，提供丰富的网页抓取、搜索和内容提取功能。

Cloudflare Browser Rendering

该项目展示如何利用Cloudflare浏览器渲染技术提取网页内容作为LLM上下文，包含API实验和MCP服务器实现。

Olostep MCP Server是一个集成了Olostep服务的MCP服务器实现，提供网页内容提取、搜索引擎结果获取和网站URL发现等功能，支持多国家请求路由和JavaScript渲染等待。

Oxylabs MCP服务器为AI助手提供网页数据抓取服务，支持动态渲染、结构化提取和反封锁功能。

Scraperis Scraper

Scraper.is MCP是一个基于Model Context Protocol的网页抓取工具集成包，使AI助手能够通过MCP协议访问最新的网页内容。

Firecrawl MCP Server 00a

Firecrawl MCP Server是一个集成Firecrawl网页抓取功能的模型上下文协议服务器，支持爬取、搜索、提取和批量处理网页内容，具有自动重试、速率限制和信用监控等功能。

Vrknetha MCP Server Firecrawl

FireCrawl MCP服务器是一个集成了FireCrawl高级网页抓取功能的模型上下文协议服务，支持JavaScript渲染、多视图配置、智能限速处理及多种内容格式输出。

Coucya MCP Server Requests

一个提供HTTP请求能力的MCP服务器，支持LLM获取和处理网页内容，包括内容转换、过滤和自定义请求等功能。

Tagny MCP Server

一个增强本地LLM服务的MCP服务器，提供网页文本抓取、链接提取和网络搜索等功能。

Scrapling是一个自适应网页抓取库，能自动学习网站变化并重新定位元素，支持多种抓取方式和AI集成，提供高性能解析和开发者友好体验。

一个优化的MCP协议网页抓取服务器，通过服务器端HTML转Markdown和CSS选择器过滤，大幅减少AI处理的令牌使用量，提供高效的内容提取功能

Development Tools MCP Server

这是一个用于代码分析和网页抓取的MCP服务器，支持代码质量检查、依赖分析、静态/动态网页抓取和API发现，为AI助手提供开发工具。

Linkup MCP Server

Linkup MCP服务器是一个基于Model Context Protocol的服务器，通过Linkup API提供实时网络搜索和网页内容抓取功能，使AI助手能够访问互联网上的最新信息。

Mcpdatafetchserver

MCP数据获取服务器是一个安全、沙盒化的服务器，通过模型控制协议（MCP）获取网页内容并提取数据，不执行JavaScript。

MCP Fetch是一个为Claude Desktop设计的服务工具，用于抓取网页内容并处理图像，支持自动下载和运行最新版本，需macOS环境。

Fetcher MCP是一个基于Playwright无头浏览器的网页内容抓取服务，支持JavaScript渲染、智能内容提取和并行处理，提供HTML/Markdown输出格式，适用于动态网页内容获取。

Nexon33 Search Fetch Server MCP

一个基于TypeScript的MCP服务器，实现了简单的笔记系统，提供资源管理、工具操作和提示生成功能，支持与Claude Desktop集成。

一个提供多种网页内容抓取功能的MCP服务器

Scraper.is MCP是一个基于模型上下文协议(MCP)的网页抓取工具集成包，允许AI助手通过MCP协议抓取网页内容，支持多种格式输出和实时进度更新。

精选MCP服务推荐

Figma Context MCP

Framelink Figma MCP Server是一个为AI编程工具（如Cursor）提供Figma设计数据访问的服务器，通过简化Figma API响应，帮助AI更准确地实现设计到代码的一键转换。

Duckduckgo MCP Server

DuckDuckGo搜索MCP服务器，为Claude等LLM提供网页搜索和内容抓取服务

Firecrawl MCP Server

Firecrawl MCP Server是一个集成Firecrawl网页抓取能力的模型上下文协议服务器，提供丰富的网页抓取、搜索和内容提取功能。

Edgeone Pages MCP Server

EdgeOne Pages MCP是一个通过MCP协议快速部署HTML内容到EdgeOne Pages并获取公开URL的服务

百度地图MCP Server是国内首个兼容MCP协议的地图服务，提供地理编码、路线规划等10个标准化API接口，支持Python和Typescript快速接入，赋能智能体实现地图相关功能。

Minimax MCP Server

MiniMax Model Context Protocol (MCP) 是一个官方服务器，支持与强大的文本转语音、视频/图像生成API交互，适用于多种客户端工具如Claude Desktop、Cursor等。

Exa MCP Server是一个为AI助手（如Claude）提供网络搜索功能的服务器，通过Exa AI搜索API实现实时、安全的网络信息获取。

Context7 MCP是一个为AI编程助手提供实时、版本特定文档和代码示例的服务，通过Model Context Protocol直接集成到提示中，解决LLM使用过时信息的问题。

AIBase

智启未来，您的人工智能解决方案智库

English 简体中文繁體中文にほんご

© 2025AIBase