Crawl4ai (Web Scraping & Crawling)

🚀 Crawl4AI MCP サーバー

Crawl4AI を Cursor AI に統合するための Model Context Protocol (MCP) サーバーの実装です。このサーバーは、Cursor Composer の代理モードにおいて、LLM のためのウェブスクレイピングとクローリング機能を提供します。

🚀 クイックスタート

Crawl4AI MCP サーバーを使用することで、LLM がウェブページの情報を取得できるようになります。以下の手順に従ってセットアップしてください。

✨ 主な機能

• 単一ページのスクレイピング
• ウェブサイトのクローリング

📦 インストール

システム要件

Python 3.10 以上がインストールされていることが必要です。

インストール手順

基本的なセットアップ手順は、公式ドキュメント MCP サーバーのクイックスタートにも記載されています。

環境のセットアップ

まず、uv をインストールし、Python プロジェクトと環境を設定します。

MacOS/Linux:

curl -LsSf https://astral.sh/uv/install.sh | sh

Windows:

powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"

インストール後、ターミナルを再起動して、uv コマンドが認識されるようにしてください。

以下の手順を完了してください：

1. リポジトリをクローンします。
2. UV を使用して依存関係をインストールします（初回のみ）：

# crawl4ai-mcp ディレクトリに移動
cd crawl4ai-mcp

# 依存関係をインストール (初回のみ)
uv venv
uv sync

# 仮想環境をアクティブ化
source .venv/bin/activate

# サーバーを起動
python main.py

3. Cursor の MCP サーバーまたは Claude の MCP サーバーに追加します。 コマンドフィールドに uv 実行ファイルの完全パスを指定する必要がある場合があります。MacOS/Linux では which uv を、Windows では where uv を実行することで取得できます。

{
  "mcpServers": {
    "Crawl4AI": {
      "command": "uv",
      "args": [
        "--directory",
        "/ABSOLUTE/PATH/TO/PARENT/FOLDER/crawl4ai-mcp",
        "run",
        "main.py"
      ]
    }
  }
}

💻 使用例

基本的な使用法

この MCP サーバーは、LLM に以下のツールを提供します。

scrape_webpage(url: str)

• 説明: Crawl4AI を使用して、指定されたウェブページの内容とメタデータをスクレイピングします。
• パラメータ:
  • url (文字列、必須): スクレイピングするウェブページの URL。
• 戻り値: Markdown 形式を主体としたスクレイピング内容を含む TextContent オブジェクトのリストを JSON 形式で返します。

crawl_website(url: str, crawl_depth: int = 1, max_pages: int = 5)

• 説明: Crawl4AI を使用して、指定された URL からクローリングを開始し、深度とページ数を指定して制限します。
• パラメータ:
  • url (文字列、必須): クローリングを開始する URL。
  • crawl_depth (整数、オプション、デフォルト値は 1): 開始 URL からの最大クローリング深度。
  • max_pages (整数、オプション、デフォルト値は 5): クローリング中に取得する最大ページ数。
• 戻り値: クローリングしたページの情報（URL、成功状態、Markdown 内容またはエラー）を表す JSON 配列結果を含む TextContent オブジェクトのリストを返します。