网页爬取

# 网页爬取

Sentinel Core Agent

该项目包含client.py和server.py两个核心文件，实现了一个基于MCP协议的AI工具交互系统。客户端管理用户与LLM及工具的交互流程，服务端提供文件操作、网页爬取等工具功能并通过MCP协议提供服务。

Web Crawler MCP Server

一个基于MCP协议的网页爬取服务，为AI助手提供网页内容提取功能，支持绕过反爬机制并返回格式化文本。

LSD MCP服务器是一个连接Claude AI与互联网数据的桥梁，通过LSD SQL语言实现网页数据的高效查询与聚合。

Jcrawl4ai MCP Server

基于Spring Boot的Crawl4ai API交互服务器

MCP Smart Crawler

MCP Smart Crawler 是一个基于Playwright的网页内容爬取工具，专门用于提取小红书帖子的元数据和下载媒体资源。

一个为AI开发者提供的低成本网页搜索服务工具

Search1API MCP Server是一个基于Model Context Protocol (MCP)的服务器，提供搜索和爬取功能，支持多种搜索服务和工具。

MCP Server Spider

一个用于蜘蛛爬虫交互和自动化的MCP服务器，提供网页抓取和爬取工具，目前处于早期开发阶段。

Crawl4ai MCP Server Rln

一个基于crawl4ai的MCP服务器，提供网页爬取功能并以Markdown格式输出内容，适用于LLM处理。

Firecrawl MCP Zed

Firecrawl MCP是为Zed AI Agent提供的模型上下文服务器扩展，支持通过API密钥配置Firecrawl服务，并集成到Zed的助手模式中。

精选MCP服务推荐

Figma Context MCP

Framelink Figma MCP Server是一个为AI编程工具（如Cursor）提供Figma设计数据访问的服务器，通过简化Figma API响应，帮助AI更准确地实现设计到代码的一键转换。

Firecrawl MCP Server

Firecrawl MCP Server是一个集成Firecrawl网页抓取能力的模型上下文协议服务器，提供丰富的网页抓取、搜索和内容提取功能。

Duckduckgo MCP Server

DuckDuckGo搜索MCP服务器，为Claude等LLM提供网页搜索和内容抓取服务

Minimax MCP Server

MiniMax Model Context Protocol (MCP) 是一个官方服务器，支持与强大的文本转语音、视频/图像生成API交互，适用于多种客户端工具如Claude Desktop、Cursor等。

百度地图MCP Server是国内首个兼容MCP协议的地图服务，提供地理编码、路线规划等10个标准化API接口，支持Python和Typescript快速接入，赋能智能体实现地图相关功能。

Exa MCP Server是一个为AI助手（如Claude）提供网络搜索功能的服务器，通过Exa AI搜索API实现实时、安全的网络信息获取。

Context7 MCP是一个为AI编程助手提供实时、版本特定文档和代码示例的服务，通过Model Context Protocol直接集成到提示中，解决LLM使用过时信息的问题。

Edgeone Pages MCP Server

EdgeOne Pages MCP是一个通过MCP协议快速部署HTML内容到EdgeOne Pages并获取公开URL的服务

AIbase

智启未来，您的人工智能解决方案智库

English 简体中文繁體中文にほんご

© 2025AIbase