MCP Server Spider

🚀 mcp-server-spider：一个用于Spider爬虫的模型上下文协议服务器

mcp-server-spider是一个专为Spider爬虫交互和自动化设计的Model Context Protocol（模型上下文协议）服务器，它能提供强大工具来抓取和提取网页内容。不过，该项目目前处于早期开发阶段，可能存在bug，未来会持续添加更多功能。

🚀 快速开始

mcp-server-spider提供了两个实用工具，分别是crawl和scrape，下面为你详细介绍其功能和使用方法。

crawl

• 功能：抓取指定URL并返回找到的所有URL列表。
• 输入参数：
  • url：要抓取的URL地址。
  • headers：为抓取请求附加的额外头信息。
  • user_agent：为抓取请求设置的用户代理。
  • depth：链接遍历的最大深度。
  • blacklist：用于黑名单过滤的一系列正则表达式规则。
  • whitelist：用于白名单过滤的一系列正则表达式规则。
  • respect_robots_txt：是否遵守robots.txt文件规定。
  • accept_invalid_certs：是否接受无效的证书。
• 返回结果：找到的所有URL列表。

scrape

• 功能：抓取指定URL并返回包含抓取到的每个页面信息（如URL、链接和内容）的JSON对象列表。
• 输入参数：与crawl命令相同。
• 返回结果：包含URL、链接和内容的JSON对象列表（以字符串形式返回）。

📦 安装指南

使用uv（推荐）

当使用uv时，无需进行特殊安装。我们可以直接利用uvx来运行mcp-server-spider。

使用pip

如果需要，也可以通过pip安装mcp-server-spider：

pip install mcp-server-spider

安装完成后，可以通过以下命令启动服务器：

python -m mcp_server_spider

⚠️ 重要提示

mcp-server-spider目前处于早期开发阶段，可能存在bug，并且未来会有更多功能添加。