Crawlab MCP Server

🚀 クローラーラボ MCP サーバー

このサーバーは、クローラーラボ（Crawlab）用に設計されたモデルコンテキストプロトコル（MCP）サーバーで、AI アプリケーションが Crawlab の機能とやり取りできるようにします。

🚀 クイックスタート

MCP サーバーは、AI アプリケーションが Crawlab の機能にアクセスするための標準的な方法を提供します。具体的には、以下の機能にアクセスできます。

✨ 主な機能

• クローラー管理（作成、読み取り、更新、削除）
• タスク管理（実行、キャンセル、再開）
• ファイル管理（読み取り、書き込み）
• リソースアクセス（クローラー、タスク）

🔧 技術詳細

アーキテクチャ

MCP Server/Client アーキテクチャは、AI アプリケーションと Crawlab 間の通信を促進します。

graph TB
    User[ユーザー] --> Client[MCP クライアント]
    Client --> LLM[LLM プロバイダー]
    Client <--> Server[MCP サーバー]
    Server <--> Crawlab[Crawlab API]

    subgraph "MCP システム"
        Client
        Server
    end

    subgraph "Crawlab システム"
        Crawlab
        DB[(データベース)]
        Crawlab <--> DB
    end

    class User,LLM,Crawlab,DB 外部;
    class Client,Server 内部;

    %% 流れの注釈
    LLM -.-> |ツール呼び出し| Client
    Client -.-> |ツール呼び出しの実行| Server
    Server -.-> |API リクエスト| Crawlab
    Crawlab -.-> |API レスポンス| Server
    Server -.-> |ツール結果| Client
    Client -.-> |人間が読めるレスポンス| User

    classDef 外部 fill:#f9f9f9,stroke:#333,stroke-width:1px;
    classDef 内部 fill:#d9edf7,stroke:#31708f,stroke-width:1px;

通信フロー

1. ユーザークエリ：ユーザーが MCP クライアントに自然言語でクエリを送信します。
2. LLM 処理：クライアントがクエリを LLM プロバイダー（例えば Claude、OpenAI）に転送します。
3. ツール選択：LLM が意図を識別し、クローラー作成ツールを呼び出します。
4. クローラー作成：MCP サーバーが Crawlab API にコマンドを送信してクローラーを作成します。
5. クローラー作成完了：クローラーが正常に作成され、詳細情報がユーザーに返されます。

📦 インストール

Windows システム

pip を使用したインストール

pip install mcp-server-windows

手動インストール手順

1. 最新バージョンの MCP サーバーの Windows 版をダウンロードします。
2. ファイルを desired location に解凍します。
3. コマンドプロンプトを開き、解凍したディレクトリに移動して以下のコマンドを実行します。

   python server.py
   

Linux システム

pip を使用したインストール

pip install mcp-server-linux

手動インストール手順

1. 最新バージョンの MCP サーバーの Linux 版をダウンロードします。
2. ファイルを desired location に解凍します。
3. ターミナルを開き、解凍したディレクトリに移動して以下のコマンドを実行します。

   python server.py
   

💻 使用例

基本的な使用法

クローラーの作成

# デフォルト設定で新しいクローラーを作成する
python create_spider.py --name my_spider

# 特定のプロジェクト用に設定フォルダを持つクローラーを作成する
python create_spider.py --name my_project --project project_name

クローラーの実行

# 単一のクローラーを実行する
python run_spider.py --spider my_spider

# 利用可能なすべてのノードでクローラーを実行する
python run_spider.py --spider my_spider --all-nodes

# crawl コマンドの引数を設定する
python run_spider.py --spider my_spider --crawl-args arg1=value1,arg2=value2

クローラーコードの更新

# 特定のファイルの内容を更新する
python update_spider_code.py --spider my_spider --file main.py --content "新しいPythonコード..."

# すべてのクローラーのコードを更新する
python update_spider_code.py --all --content "新しいPythonコード..."

高度な使用法

# 高度なシナリオでの使用例をここに記載する予定です。

📚 ドキュメント

利用可能なコマンド

リソースアクセス

• spiders：すべてのクローラーをリスト表示します。
• tasks：すべてのタスクをリスト表示します。

ツールの使用

クローラー管理

• get_spider：特定のクローラーの詳細情報を取得します。
• create_spider：新しいクローラーを作成します。
• update_spider：既存のクローラーを更新します。
• delete_spider：クローラーを削除します。

タスク管理

• get_task：特定のタスクの詳細情報を取得します。
• run_spider：クローラーを実行します。
• cancel_task：実行中のタスクをキャンセルします。
• restart_task：タスクを再開します。
• get_task_logs：タスクのログを取得します。