Crawlab

🚀 爬蟲實驗室 MCP 服務器

爬蟲實驗室 MCP 服務器是專為爬蟲實驗室（Crawlab）設計的模型上下文協議（MCP）服務器，它能讓 AI 應用程序與 Crawlab 的各項功能進行交互，為數據抓取和管理提供了便捷的途徑。

🚀 快速開始

MCP 服務器提供了一種標準方式，供 AI 應用程序訪問 Crawlab 的功能，包括爬蟲管理、任務管理、文件管理和資源訪問等。以下是使用前的安裝與配置步驟：

📦 安裝指南

安裝 MCP 服務器

pip install crawlab-mcp-server

初始化數據庫

crawlab init_db

啟動 MCP 服務器

uvicorn --host 0.0.0.0 --port 8000 crawlab_mcp_server.app:app

✨ 主要特性

MCP 服務器允許 AI 應用程序與 Crawlab 的功能交互，其提供的標準訪問方式涵蓋了以下主要功能：

• 爬蟲管理（創建、讀取、更新、刪除）
• 任務管理（運行、取消、重啟）
• 文件管理（讀取、寫入）
• 資源訪問（爬蟲、任務）

🔧 技術細節

架構

MCP Server/Client 架構實現了 AI 應用程序與 Crawlab 之間的通信，具體架構圖如下：

graph TB
    User[用戶] --> Client[MCP 客戶端]
    Client --> LLM[LLM 提供商]
    Client <--> Server[MCP 服務器]
    Server <--> Crawlab[Crawlab API]

    subgraph "MCP 系統"
        Client
        Server
    end

    subgraph "Crawlab 系統"
        Crawlab
        DB[(數據庫)]
        Crawlab <--> DB
    end

    class User,LLM,Crawlab,DB 外部;
    class Client,Server 內部;

    %% 流注釋
    LLM -.-> |工具調用| Client
    Client -.-> |執行工具調用| Server
    Server -.-> |API 請求| Crawlab
    Crawlab -.-> |API 響應| Server
    Server -.-> |工具結果| Client
    Client -.-> |人類可讀的響應| User

    classDef 外部 fill:#f9f9f9,stroke:#333,stroke-width:1px;
    classDef 內部 fill:#d9edf7,stroke:#31708f,stroke-width:1px;

通信流程

1. 用戶查詢：用戶發送自然語言查詢到 MCP 客戶端。
2. LLM 處理：客戶端將查詢轉發給 LLM 提供商（例如，Claude、OpenAI）。
3. 工具選擇：LLM 識別意圖並調用創建爬蟲工具。
4. MCP 服務器執行：服務器向 Crawlab API 發送命令。
5. 完成操作：爬蟲或任務被執行，結果返回給用戶。

💻 使用示例

基礎用法

創建爬蟲

用戶：創建一個名為“產品抓取器”的新爬蟲，用於電子商務項目。
↓
LLM 調用 create_spider 工具
↓
MCP 服務器向 Crawlab API 發送命令
↓
爬蟲創建完成並返回詳細信息給用戶

運行任務

用戶：運行“產品抓取器”爬蟲在所有可用節點上。
↓
LLM 調用 run_spider 工具
↓
MCP 服務器向 Crawlab API 發送命令
↓
任務啟動並確認返回給用戶

📚 詳細文檔

可用命令

用戶可以通過自然語言與系統交互，例如：

• “列出所有我的爬蟲”
• “創建一個新的爬蟲，並根據這些說明配置它...”
• “顯示名為 X 的爬蟲代碼”
• “將此代碼保存到爬蟲 X 的 main.py 文件中”
• “運行爬蟲 X 並在完成時通知我”
• “顯示爬蟲 X 上一次運行的結果”

可用資源和工具

以下是支持自然語言交互的底層工具：

資源

• spiders：列出所有爬蟲。
• tasks：列出所有任務。

工具

爬蟲管理

• get_spider：獲取特定爬蟲的詳細信息。
• create_spider：創建新爬蟲。
• update_spider：更新現有爬蟲。
• delete_spider：刪除爬蟲。

任務管理

• get_task：獲取特定任務的詳細信息。
• run_spider：運行爬蟲。
• cancel_task：取消正在運行的任務。
• restart_task：重啟任務。
• get_task_logs：獲取任務日誌。