MCP Server Spider

🚀 mcp-server-spider：一個用於Spider爬蟲的模型上下文協議服務器

mcp-server-spider是一個專為Spider爬蟲交互和自動化設計的Model Context Protocol（模型上下文協議）服務器，它能提供強大工具來抓取和提取網頁內容。不過，該項目目前處於早期開發階段，可能存在bug，未來會持續添加更多功能。

🚀 快速開始

mcp-server-spider提供了兩個實用工具，分別是crawl和scrape，下面為你詳細介紹其功能和使用方法。

crawl

• 功能：抓取指定URL並返回找到的所有URL列表。
• 輸入參數：
  • url：要抓取的URL地址。
  • headers：為抓取請求附加的額外頭信息。
  • user_agent：為抓取請求設置的用戶代理。
  • depth：鏈接遍歷的最大深度。
  • blacklist：用於黑名單過濾的一系列正則表達式規則。
  • whitelist：用於白名單過濾的一系列正則表達式規則。
  • respect_robots_txt：是否遵守robots.txt文件規定。
  • accept_invalid_certs：是否接受無效的證書。
• 返回結果：找到的所有URL列表。

scrape

• 功能：抓取指定URL並返回包含抓取到的每個頁面信息（如URL、鏈接和內容）的JSON對象列表。
• 輸入參數：與crawl命令相同。
• 返回結果：包含URL、鏈接和內容的JSON對象列表（以字符串形式返回）。

📦 安裝指南

使用uv（推薦）

當使用uv時，無需進行特殊安裝。我們可以直接利用uvx來運行mcp-server-spider。

使用pip

如果需要，也可以通過pip安裝mcp-server-spider：

pip install mcp-server-spider

安裝完成後，可以通過以下命令啟動服務器：

python -m mcp_server_spider

⚠️ 重要提示

mcp-server-spider目前處於早期開發階段，可能存在bug，並且未來會有更多功能添加。