Scrapling MCP服务器 - 自适应网页抓取库，支持多方式抓取与AI集成的开发利器

探索

Scrapling

Scrapling是一个自适应网页抓取库，能自动学习网站变化并重新定位元素，支持多种抓取方式和AI集成，提供高性能解析和开发者友好体验。

研究与数据开发者工具 #网页抓取 #自适应学习 #AI集成 #高性能解析 .Python

评分 : 5分

下载量 : 13.2K

更新时间 : 2025-09-18

打开站点

什么是Scrapling MCP Server?

Scrapling MCP Server是一个专门为AI助手设计的模型上下文协议服务器，它利用Scrapling的强大网页抓取能力，让AI能够智能地提取网页内容。服务器会在将内容传递给AI之前先进行精确的内容定位，从而显著减少token使用量并提高处理效率。

如何使用Scrapling MCP Server?

通过配置AI工具（如Claude Desktop、Cursor等）连接到MCP服务器，AI助手就能直接调用Scrapling的网页抓取功能。您只需要提供URL和需要提取的内容描述，服务器会自动处理复杂的网页抓取和数据提取任务。

适用场景

适用于需要从网页提取结构化数据的各种场景，包括市场研究、价格监控、内容聚合、竞争分析、学术研究等，特别适合需要AI辅助进行数据分析和处理的场景。

主要功能

智能内容提取

基于自然语言描述精准定位和提取网页内容，无需编写复杂的选择器

Token使用优化

在将内容传递给AI之前进行预处理，只提取相关部分，大幅减少token消耗

自适应抓取

自动适应网站结构变化，确保长期稳定的数据提取能力

多格式输出

支持JSON、文本、Markdown等多种输出格式，满足不同AI模型的需求

隐身模式

内置反检测技术，能够绕过Cloudflare等反爬虫系统

优势

大幅降低AI处理的token成本，提高经济效益

简化网页数据提取流程，无需技术背景即可使用

强大的自适应能力，减少网站更新导致的提取失败

支持复杂的JavaScript渲染页面和反爬虫保护

与主流AI工具无缝集成，开箱即用

局限性

需要安装和配置MCP服务器环境

对于极其复杂的动态内容可能仍需人工干预

需要网络连接才能进行网页抓取

某些网站可能有严格的访问限制

如何使用

安装MCP服务器

确保已安装Scrapling的AI扩展功能

配置AI工具

在Claude Desktop、Cursor或其他支持MCP的AI工具中配置服务器连接

开始使用

通过自然语言指令让AI助手使用Scrapling进行网页抓取

使用案例

电商价格监控

监控竞争对手网站的产品价格变化

新闻内容聚合

从多个新闻网站收集最新新闻头条

学术研究数据收集

从学术网站收集研究论文信息

常见问题

MCP服务器是什么？

需要编程知识才能使用吗？

支持哪些AI工具？

抓取速度如何？

如何处理需要登录的网站？

🚀 Scrapling

Scrapling 是首个自适应网页抓取库，它能从网站的变化中学习并随之进化。当其他库因网站结构更新而失效时，Scrapling 能自动重新定位元素，确保抓取程序持续运行，让你告别与反爬虫系统的斗争，无需在网站更新后重写选择器。

🚀 快速开始

基础用法

from scrapling.fetchers import Fetcher, StealthyFetcher, DynamicFetcher
from scrapling.fetchers import FetcherSession, StealthySession, DynamicSession

# HTTP requests with session support
with FetcherSession(impersonate='chrome') as session:  # Use latest version of Chrome's TLS fingerprint
    page = session.get('https://quotes.toscrape.com/', stealthy_headers=True)
    quotes = page.css('.quote .text::text')

# Or use one-off requests
page = Fetcher.get('https://quotes.toscrape.com/')
quotes = page.css('.quote .text::text')

# Advanced stealth mode (Keep the browser open until you finish)
with StealthySession(headless=True, solve_cloudflare=True) as session:
    page = session.fetch('https://nopecha.com/demo/cloudflare', google_search=False)
    data = page.css('#padded_content a')

# Or use one-off request style, it opens the browser for this request, then closes it after finishing
page = StealthyFetcher.fetch('https://nopecha.com/demo/cloudflare')
data = page.css('#padded_content a')
    
# Full browser automation (Keep the browser open until you finish)
with DynamicSession(headless=True, disable_resources=False, network_idle=True) as session:
    page = session.fetch('https://quotes.toscrape.com/', load_dom=False)
    data = page.xpath('//span[@class="text"]/text()')  # XPath selector if you prefer it

# Or use one-off request style, it opens the browser for this request, then closes it after finishing
page = DynamicFetcher.fetch('https://quotes.toscrape.com/')
data = page.css('.quote .text::text')

高级解析与导航

from scrapling.fetchers import Fetcher

# Rich element selection and navigation
page = Fetcher.get('https://quotes.toscrape.com/')

# Get quotes with multiple selection methods
quotes = page.css('.quote')  # CSS selector
quotes = page.xpath('//div[@class="quote"]')  # XPath
quotes = page.find_all('div', {'class': 'quote'})  # BeautifulSoup-style
# Same as
quotes = page.find_all('div', class_='quote')
quotes = page.find_all(['div'], class_='quote')
quotes = page.find_all(class_='quote')  # and so on...
# Find element by text content
quotes = page.find_by_text('quote', tag='div')

# Advanced navigation
first_quote = page.css_first('.quote')
quote_text = first_quote.css('.text::text')
quote_text = page.css('.quote').css_first('.text::text')  # Chained selectors
quote_text = page.css_first('.quote .text').text  # Using `css_first` is faster than `css` if you want the first element
author = first_quote.next_sibling.css('.author::text')
parent_container = first_quote.parent

# Element relationships and similarity
similar_elements = first_quote.find_similar()
below_elements = first_quote.below_elements()

你可以直接使用解析器，而无需像下面这样抓取网站：

from scrapling.parser import Selector

page = Selector("<html>...</html>")

它的工作方式完全相同！

异步会话管理示例

import asyncio
from scrapling.fetchers import FetcherSession, AsyncStealthySession, AsyncDynamicSession

async with FetcherSession(http3=True) as session:  # `FetcherSession` is context-aware and can work in both sync/async patterns
    page1 = session.get('https://quotes.toscrape.com/')
    page2 = session.get('https://quotes.toscrape.com/', impersonate='firefox135')

# Async session usage
async with AsyncStealthySession(max_pages=2) as session:
    tasks = []
    urls = ['https://example.com/page1', 'https://example.com/page2']
    
    for url in urls:
        task = session.fetch(url)
        tasks.append(task)
    
    print(session.get_pool_stats())  # Optional - The status of the browser tabs pool (busy/free/error)
    results = await asyncio.gather(*tasks)
    print(session.get_pool_stats())

✨ 主要特性

支持会话的高级网站抓取

HTTP 请求：使用 Fetcher 类进行快速且隐蔽的 HTTP 请求。可以模拟浏览器的 TLS 指纹、头部信息，并使用 HTTP3。
动态加载：通过支持 Playwright 的 Chromium、真实 Chrome 和自定义隐身模式的 DynamicFetcher 类，实现全浏览器自动化来抓取动态网站。
绕过反爬虫机制：StealthyFetcher 具有高级隐身功能，使用修改版的 Firefox 和指纹欺骗技术。可以轻松通过自动化绕过所有级别的 Cloudflare 的 Turnstile。
会话管理：FetcherSession、StealthySession 和 DynamicSession 类支持持久会话，用于跨请求的 cookie 和状态管理。
异步支持：所有抓取器都提供完整的异步支持，并配有专门的异步会话类。

自适应抓取与 AI 集成

🔄 智能元素跟踪：使用智能相似性算法在网站更改后重新定位元素。
🎯 智能灵活选择：支持 CSS 选择器、XPath 选择器、基于过滤器的搜索、文本搜索、正则表达式搜索等。
🔍 查找相似元素：自动定位与已找到元素相似的元素。
🤖 可与 AI 配合使用的 MCP 服务器：内置 MCP 服务器，用于 AI 辅助的网页抓取和数据提取。MCP 服务器具有自定义的强大功能，利用 Scrapling 在将目标内容传递给 AI（Claude/Cursor 等）之前进行提取，从而通过减少令牌使用来加快操作速度并降低成本。(演示视频)

高性能且经过实战检验的架构

🚀 闪电般快速：经过优化的性能，超越了大多数 Python 抓取库。
🔋 内存高效：优化的数据结构和惰性加载，占用的内存极少。
⚡ 快速 JSON 序列化：比标准库快 10 倍。
🏗️ 经过实战检验：Scrapling 不仅拥有 92% 的测试覆盖率和完整的类型提示覆盖率，而且在过去一年中，每天都有数百名网页抓取人员在使用它。

对开发者/网页抓取人员友好的体验

🎯 交互式网页抓取 shell：可选的内置 IPython shell，集成了 Scrapling，提供快捷方式和新工具，可加快网页抓取脚本的开发速度，例如将 curl 请求转换为 Scrapling 请求，并在浏览器中查看请求结果。
🚀 直接从终端使用：你可以选择直接使用 Scrapling 来抓取 URL，而无需编写任何代码！
🛠️ 丰富的导航 API：通过父级、兄弟级和子级导航方法实现高级 DOM 遍历。
🧬 增强的文本处理：内置正则表达式、清理方法和优化的字符串操作。
📝 自动选择器生成：为任何元素生成强大的 CSS/XPath 选择器。
🔌 熟悉的 API：类似于 Scrapy/BeautifulSoup，使用与 Scrapy/Parsel 相同的伪元素。
📘 完整的类型覆盖：完整的类型提示，为 IDE 提供出色的支持和代码补全功能。

全新的会话架构

Scrapling 0.3 引入了全新的会话系统：

持久会话：在多个请求之间保持 cookie、头部信息和身份验证。
自动会话管理：智能处理会话生命周期，并进行适当的清理。
会话继承：所有抓取器都支持一次性请求和持久会话使用。
并发会话支持：同时运行多个隔离的会话。

📦 安装指南

Scrapling 需要 Python 3.10 或更高版本：

pip install scrapling

从 v0.3.2 开始，此安装仅包括解析引擎及其依赖项，不包括任何抓取器或命令行依赖项。

可选依赖项

如果你打算使用以下任何额外功能、抓取器或它们的类，则需要安装抓取器的依赖项，然后使用以下命令安装浏览器依赖项：
```
pip install "scrapling[fetchers]"

scrapling install
```
这将下载所有浏览器及其系统依赖项和指纹操作依赖项。
额外功能：
- 安装 MCP 服务器功能：
```
pip install "scrapling[ai]"
```
- 安装 shell 功能（网页抓取 shell 和 extract 命令）：
```
pip install "scrapling[shell]"
```
- 安装所有功能：
```
pip install "scrapling[all]"
```
不要忘记在安装这些额外功能后（如果你还没有安装），使用 scrapling install 安装浏览器依赖项。

💻 使用示例

基础用法

# 保持原始代码和注释不变
from scrapling.fetchers import Fetcher, AsyncFetcher, StealthyFetcher, DynamicFetcher
# 启用自适应模式
StealthyFetcher.adaptive = True
# 在隐蔽模式下获取网站源代码！
page = StealthyFetcher.fetch('https://example.com', headless=True, network_idle=True)
print(page.status)
200
# 抓取能够在网站设计变更后仍能正常工作的数据！
products = page.css('.product', auto_save=True)
# 稍后，如果网站结构发生变化，传递 `adaptive=True` 参数
products = page.css('.product', adaptive=True)
# Scrapling 仍然能够找到它们！

高级用法

# 高级场景说明：使用不同的抓取器和会话类进行复杂的网页抓取操作，支持异步、隐身、动态加载等多种模式，同时可以处理会话管理和元素定位。
from scrapling.fetchers import Fetcher, StealthyFetcher, DynamicFetcher
from scrapling.fetchers import FetcherSession, StealthySession, DynamicSession

# HTTP requests with session support
with FetcherSession(impersonate='chrome') as session:  # Use latest version of Chrome's TLS fingerprint
    page = session.get('https://quotes.toscrape.com/', stealthy_headers=True)
    quotes = page.css('.quote .text::text')

# Or use one-off requests
page = Fetcher.get('https://quotes.toscrape.com/')
quotes = page.css('.quote .text::text')

# Advanced stealth mode (Keep the browser open until you finish)
with StealthySession(headless=True, solve_cloudflare=True) as session:
    page = session.fetch('https://nopecha.com/demo/cloudflare', google_search=False)
    data = page.css('#padded_content a')

# Or use one-off request style, it opens the browser for this request, then closes it after finishing
page = StealthyFetcher.fetch('https://nopecha.com/demo/cloudflare')
data = page.css('#padded_content a')
    
# Full browser automation (Keep the browser open until you finish)
with DynamicSession(headless=True, disable_resources=False, network_idle=True) as session:
    page = session.fetch('https://quotes.toscrape.com/', load_dom=False)
    data = page.xpath('//span[@class="text"]/text()')  # XPath selector if you prefer it

# Or use one-off request style, it opens the browser for this request, then closes it after finishing
page = DynamicFetcher.fetch('https://quotes.toscrape.com/')
data = page.css('.quote .text::text')

📚 详细文档

Scrapling v0.3 包含一个强大的命令行界面：

# 启动交互式网页抓取 shell
scrapling shell

# 直接将页面提取到文件中，无需编程（默认提取 `body` 标签内的内容）
# 如果输出文件以 `.txt` 结尾，则将提取目标的文本内容。
# 如果以 `.md` 结尾，它将是 HTML 内容的 markdown 表示形式，而 `.html` 则是直接的 HTML 内容。
scrapling extract get 'https://example.com' content.md
scrapling extract get 'https://example.com' content.txt --css-selector '#fromSkipToProducts' --impersonate 'chrome'  # 所有匹配 CSS 选择器 '#fromSkipToProducts' 的元素
scrapling extract fetch 'https://example.com' content.md --css-selector '#fromSkipToProducts' --no-headless
scrapling extract stealthy-fetch 'https://nopecha.com/demo/cloudflare' captchas.html --css-selector '#padded_content a' --solve-cloudflare

⚠️ 重要提示

还有许多其他功能，但我们希望保持此页面简洁，例如 MCP 服务器和交互式网页抓取 shell。请查看完整文档此处

🔧 技术细节

文本提取速度测试（5000 个嵌套元素）

#	库	时间 (ms)	与 Scrapling 相比
1	Scrapling	1.92	1.0x
2	Parsel/Scrapy	1.99	1.036x
3	Raw Lxml	2.33	1.214x
4	PyQuery	20.61	~11x
5	Selectolax	80.65	~42x
6	BS4 with Lxml	1283.21	~698x
7	MechanicalSoup	1304.57	~679x
8	BS4 with html5lib	3331.96	~1735x