Crawlab MCP Server

🚀 爬蟲實驗室 MCP 服務器

這是一個專為爬蟲實驗室（Crawlab）設計的模型上下文協議（MCP）服務器，它能讓 AI 應用程序與 Crawlab 的各項功能實現交互，為數據爬取和管理提供了強大支持。

🚀 快速開始

MCP 服務器為 AI 應用程序訪問 Crawlab 的功能提供了標準化途徑。藉助它，你可以輕鬆實現爬蟲管理、任務管理、文件管理以及資源訪問等操作。

✨ 主要特性

• 多樣化功能支持：涵蓋爬蟲管理（創建、讀取、更新、刪除）、任務管理（運行、取消、重啟）、文件管理（讀取、寫入）以及資源訪問（爬蟲、任務）等功能。
• 高效通信架構：採用 MCP Server/Client 架構，促進了 AI 應用程序與 Crawlab 之間的高效通信。

📦 安裝指南

Windows 系統

使用 pip 安裝

pip install mcp-server-windows

手動安裝步驟

1. 下載最新版本的 MCP 服務器 windows 版本。
2. 解壓文件到指定位置。
3. 打開命令提示符，進入解壓目錄並運行：

   python server.py
   

Linux 系統

使用 pip 安裝

pip install mcp-server-linux

手動安裝步驟

1. 下載最新版本的 MCP 服務器 linux 版本。
2. 解壓文件到指定位置。
3. 打開終端，進入解壓目錄並運行：

   python server.py
   

💻 使用示例

基礎用法

創建爬蟲

# 使用默認配置創建一個新爬蟲
python create_spider.py --name my_spider

# 為特定項目創建配置文件夾的爬蟲
python create_spider.py --name my_project --project project_name

運行爬蟲

# 運行單個爬蟲
python run_spider.py --spider my_spider

# 在所有可用節點上運行爬蟲
python run_spider.py --spider my_spider --all-nodes

# 設置crawl命令的參數
python run_spider.py --spider my_spider --crawl-args arg1=value1,arg2=value2

更新爬蟲代碼

# 更新特定文件的內容
python update_spider_code.py --spider my_spider --file main.py --content "新的Python代碼..."

# 更新所有爬蟲的代碼
python update_spider_code.py --all --content "新的Python代碼..."

📚 詳細文檔

架構

MCP Server/Client 架構促進了 AI 應用程序與 Crawlab 之間的通信：

graph TB
    User[用戶] --> Client[MCP 客戶端]
    Client --> LLM[LLM 提供商]
    Client <--> Server[MCP 服務器]
    Server <--> Crawlab[Crawlab API]

    subgraph "MCP 系統"
        Client
        Server
    end

    subgraph "Crawlab 系統"
        Crawlab
        DB[(數據庫)]
        Crawlab <--> DB
    end

    class User,LLM,Crawlab,DB 外部;
    class Client,Server 內部;

    %% 流注釋
    LLM -.-> |工具調用| Client
    Client -.-> |執行工具調用| Server
    Server -.-> |API 請求| Crawlab
    Crawlab -.-> |API 響應| Server
    Server -.-> |工具結果| Client
    Client -.-> |人類可讀的響應| User

    classDef 外部 fill:#f9f9f9,stroke:#333,stroke-width:1px;
    classDef 內部 fill:#d9edf7,stroke:#31708f,stroke-width:1px;

通信流程

1. 用戶查詢：用戶向 MCP 客戶端發送自然語言查詢。
2. LLM 處理：客戶端將查詢轉發給 LLM 提供商（例如 Claude、OpenAI）。
3. 工具選擇：LLM 識別意圖並調用創建爬蟲工具。
4. 創建爬蟲：MCP 服務器向 Crawlab API 發送命令以創建爬蟲。
5. 爬蟲創建完成：爬蟲創建成功，詳細信息返回給用戶。

可用命令

資源訪問

• spiders：列出所有爬蟲。
• tasks：列出所有任務。

工具使用

爬蟲管理

• get_spider：獲取特定爬蟲的詳細信息。
• create_spider：創建新爬蟲。
• update_spider：更新現有爬蟲。
• delete_spider：刪除爬蟲。

任務管理

• get_task：獲取特定任務的詳細信息。
• run_spider：運行爬蟲。
• cancel_task：取消正在運行的任務。
• restart_task：重啟任務。
• get_task_logs：獲取任務日誌。