# 網頁爬取

一個基於MCP協議的網頁爬取服務，為AI助手提供網頁內容提取功能，支持繞過反爬機制並返回格式化文本。

Search1API MCP Server是一個基於Model Context Protocol (MCP)的服務器，提供搜索和爬取功能，支持多種搜索服務和工具。

MCP Smart Crawler 是一個基於Playwright的網頁內容爬取工具，專門用於提取小紅書帖子的元數據和下載媒體資源。

一個基於crawl4ai的MCP服務器，提供網頁爬取功能並以Markdown格式輸出內容，適用於LLM處理。

一個為AI開發者提供的低成本網頁搜索服務工具

Firecrawl MCP是為Zed AI Agent提供的模型上下文服務器擴展，支持通過API密鑰配置Firecrawl服務，並集成到Zed的助手模式中。

基於Spring Boot的Crawl4ai API交互服務器

一個用於蜘蛛爬蟲交互和自動化的MCP服務器，提供網頁抓取和爬取工具，目前處於早期開發階段。

LSD MCP服務器是一個連接Claude AI與互聯網數據的橋樑，通過LSD SQL語言實現網頁數據的高效查詢與聚合。

該項目包含client.py和server.py兩個核心文件，實現了一個基於MCP協議的AI工具交互系統。客戶端管理用戶與LLM及工具的交互流程，服務端提供文件操作、網頁爬取等工具功能並通過MCP協議提供服務。