Crawlab

🚀 クローラーラボ MCP サーバー

このサーバーは、クローラーラボ（Crawlab）用に設計されたモデルコンテキストプロトコル（MCP）サーバーで、AI アプリケーションが Crawlab の機能と相互作用できるようにします。

🚀 クイックスタート

この MCP サーバーは、AI アプリケーションが Crawlab の機能にアクセスするための標準的な方法を提供します。これにより、AI アプリケーションは Crawlab の様々な機能を利用して、クローラー管理やタスク管理などの操作を行うことができます。

✨ 主な機能

MCP サーバーは、AI アプリケーションが Crawlab の機能にアクセスするための標準的な方法を提供します。以下の機能を含みます：

• クローラー管理（作成、読み取り、更新、削除）
• タスク管理（実行、キャンセル、再開）
• ファイル管理（読み取り、書き込み）
• リソースアクセス（クローラー、タスク）

🔧 技術詳細

アーキテクチャ

MCP Server/Client アーキテクチャは、AI アプリケーションと Crawlab の間の通信を実現します：

graph TB
    User[ユーザー] --> Client[MCP クライアント]
    Client --> LLM[LLM プロバイダー]
    Client <--> Server[MCP サーバー]
    Server <--> Crawlab[Crawlab API]

    subgraph "MCP システム"
        Client
        Server
    end

    subgraph "Crawlab システム"
        Crawlab
        DB[(データベース)]
        Crawlab <--> DB
    end

    class User,LLM,Crawlab,DB 外部;
    class Client,Server 内部;

    %% 流れの注釈
    LLM -.-> |ツール呼び出し| Client
    Client -.-> |ツール呼び出しの実行| Server
    Server -.-> |API リクエスト| Crawlab
    Crawlab -.-> |API レスポンス| Server
    Server -.-> |ツール結果| Client
    Client -.-> |人間が読めるレスポンス| User

    classDef 外部 fill:#f9f9f9,stroke:#333,stroke-width:1px;
    classDef 内部 fill:#d9edf7,stroke:#31708f,stroke-width:1px;

通信フロー

1. ユーザークエリ：ユーザーが自然言語のクエリを MCP クライアントに送信します。
2. LLM 処理：クライアントがクエリを LLM プロバイダー（例：Claude、OpenAI）に転送します。
3. ツール選択：LLM が意図を識別し、クローラー作成ツールを呼び出します。
4. MCP サーバー実行：サーバーが Crawlab API にコマンドを送信します。
5. 操作完了：クローラーまたはタスクが実行され、結果がユーザーに返されます。

📦 インストール

MCP サーバーのインストール

pip install crawlab-mcp-server

データベースの初期化

crawlab init_db

MCP サーバーの起動

uvicorn --host 0.0.0.0 --port 8000 crawlab_mcp_server.app:app

💻 使用例

基本的な使用法

クローラーの作成

ユーザー：電子商取引プロジェクト用に「製品クローラー」という名前の新しいクローラーを作成してください。
↓
LLM が create_spider ツールを呼び出します。
↓
MCP サーバーが Crawlab API にコマンドを送信します。
↓
クローラーが作成され、詳細情報がユーザーに返されます。

タスクの実行

ユーザー：すべての利用可能なノードで「製品クローラー」を実行してください。
↓
LLM が run_spider ツールを呼び出します。
↓
MCP サーバーが Crawlab API にコマンドを送信します。
↓
タスクが開始され、確認がユーザーに返されます。

利用可能なコマンド

自然言語でシステムと対話できます。例えば：

• 「すべてのクローラーをリストアップしてください」
• 「新しいクローラーを作成し、これらの説明に従って設定してください...」
• 「X という名前のクローラーのコードを表示してください」
• 「このコードをクローラー X の main.py ファイルに保存してください」
• 「クローラー X を実行し、完了したら通知してください」
• 「クローラー X の最後の実行結果を表示してください」

利用可能なリソースとツール

自然言語対話をサポートする基盤となるツールは以下の通りです：

リソース

• spiders：すべてのクローラーをリストアップします。
• tasks：すべてのタスクをリストアップします。

ツール

クローラー管理

• get_spider：特定のクローラーの詳細情報を取得します。
• create_spider：新しいクローラーを作成します。
• update_spider：既存のクローラーを更新します。
• delete_spider：クローラーを削除します。

タスク管理

• get_task：特定のタスクの詳細情報を取得します。
• run_spider：クローラーを実行します。
• cancel_task：実行中のタスクをキャンセルします。
• restart_task：タスクを再開します。
• get_task_logs：タスクのログを取得します。