Crawleo MCP

🚀 Crawleo MCP Server

Model Context Protocol (MCP)を通じて、AIアシスタントにリアルタイムのウェブ検索とクローリング機能を提供します。

🚀 クイックスタート

Crawleo MCPを使用することで、AIアシスタントは2つの強力なツールを通じてライブなウェブデータにアクセスできます。

• web.search - 複数の出力形式でのリアルタイムウェブ検索
• web.crawl - 任意のURLからの深いコンテンツ抽出

✨ 主な機能

✅ あらゆる国や言語からのリアルタイムウェブ検索
✅ 複数の出力形式 - 拡張HTML、生HTML、Markdown、プレーンテキスト
✅ デバイス固有の結果 - デスクトップ、モバイル、またはタブレットビュー
✅ JavaScriptレンダリングによる深いコンテンツ抽出
✅ データを保持しない - 完全なプライバシー
✅ 検索結果の自動クローリングオプション

📦 インストール

オプション1: NPM（ローカルでの使用を推奨）

npmを通じてグローバルにインストールします。

npm install -g crawleo-mcp

または、インストールせずにnpxを使用します。

npx crawleo-mcp

オプション2: リポジトリをクローン

git clone https://github.com/Crawleo/Crawleo-MCP.git
cd Crawleo-MCP
npm install
npm run build

オプション3: Docker

Dockerを使用してビルドし、実行します。

# イメージをビルド
docker build -t crawleo-mcp .

# APIキーを指定して実行
docker run -e CRAWLEO_API_KEY=your_api_key crawleo-mcp

MCPクライアントのDocker設定

{
  "mcpServers": {
    "crawleo": {
      "command": "docker",
      "args": ["run", "-i", "--rm", "-e", "CRAWLEO_API_KEY=YOUR_API_KEY_HERE", "crawleo-mcp"]
    }
  }
}

オプション4: リモートサーバー（インストール不要）

https://api.crawleo.dev/mcpのホスト版を使用します。以下の設定例を参照してください。

APIキーの取得方法

1. crawleo.devにアクセスします。
2. 無料アカウントにサインアップします。
3. ダッシュボードに移動します。
4. APIキー（sk_で始まる）をコピーします。

設定手順

ローカルMCPサーバー（npmパッケージ）の使用

npmを通じてインストールした後、MCPクライアントを設定してローカルサーバーを使用します。

Claude Desktop / Cursor / Windsurf（ローカル）

{
  "mcpServers": {
    "crawleo": {
      "command": "npx",
      "args": ["crawleo-mcp"],
      "env": {
        "CRAWLEO_API_KEY": "YOUR_API_KEY_HERE"
      }
    }
  }
}

またはグローバルにインストールした場合

{
  "mcpServers": {
    "crawleo": {
      "command": "crawleo-mcp",
      "env": {
        "CRAWLEO_API_KEY": "YOUR_API_KEY_HERE"
      }
    }
  }
}

クローンしたリポジトリから

{
  "mcpServers": {
    "crawleo": {
      "command": "node",
      "args": ["/path/to/Crawleo-MCP/dist/index.js"],
      "env": {
        "CRAWLEO_API_KEY": "YOUR_API_KEY_HERE"
      }
    }
  }
}

リモートサーバー（ホスト版）の使用

1. Claude Desktop

設定ファイルの場所

• macOS: ~/Library/Application Support/Claude/claude_desktop_config.json
• Windows: %APPDATA%\Claude\claude_desktop_config.json
• Linux: ~/.config/Claude/claude_desktop_config.json

設定

{
  "mcpServers": {
    "crawleo": {
      "url": "https://api.crawleo.dev/mcp",
      "transport": "http",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY_HERE"
      }
    }
  }
}

YOUR_API_KEY_HEREをcrawleo.devから取得した実際のAPIキーに置き換えます。

手順

1. 設定ファイルをテキストエディタで開きます。
2. Crawleo MCPの設定を追加します。
3. ファイルを保存します。
4. Claude Desktopを完全に再起動します（終了して再開）。
5. 新しい会話を開始し、Claudeにウェブ検索を依頼します！

使用例

"最新のAIニュースを検索し、上位5記事を要約してください"
"Pythonのウェブスクレイピングチュートリアルを見つけ、コード例を抽出してください"

2. Cursor IDE

設定ファイルの場所

• macOS: ~/.cursor/config.json または ~/Library/Application Support/Cursor/config.json
• Windows: %APPDATA%\Cursor\config.json
• Linux: ~/.config/Cursor/config.json

設定

{
  "mcpServers": {
    "crawleo": {
      "url": "https://api.crawleo.dev/mcp",
      "transport": "http",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY_HERE"
      }
    }
  }
}

手順

1. Cursorの設定ファイルを見つけて開きます。
2. Crawleo MCPの設定を追加します。
3. ファイルを保存します。
4. Cursorを再起動します。
5. MCPツールがAIアシスタントで使用可能になります。

Cursorでの使用例

"Reactのベストプラクティスを検索し、コードコメントに追加してください"
"このAPIエンドポイントの最新のドキュメントを見つけてください"

3. Windsurf IDE

設定ファイルの場所

• macOS: ~/Library/Application Support/Windsurf/config.json
• Windows: %APPDATA%\Windsurf\config.json
• Linux: ~/.config/Windsurf/config.json

設定

{
  "mcpServers": {
    "crawleo": {
      "url": "https://api.crawleo.dev/mcp",
      "transport": "http",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY_HERE"
      }
    }
  }
}

手順

1. Windsurfの設定ファイルを開きます。
2. Crawleo MCPサーバーの設定を追加します。
3. 保存してWindsurfを再起動します。
4. コーディングワークフローでウェブ検索を開始します。

4. GitHub Copilot

設定ファイルの場所 VS Codeまたは互換性のあるエディタでのGitHub Copilotでは、MCPサーバーを設定する必要があります。

設定 MCP設定ファイルを作成または編集し、以下を追加します。

{
  "servers": {
    "Crawleo": {
      "url": "https://api.crawleo.dev/mcp",
      "transport": "http",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY_HERE"
      }
    }
  }
}

複数のサーバーを含む完全な例

{
  "servers": {
    "Crawleo": {
      "url": "https://api.crawleo.dev/mcp",
      "transport": "http",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY_HERE"
      }
    }
  }
}

手順

1. GitHub CopilotのMCP設定を開きます。
2. Crawleoサーバーの設定を追加します。
3. ファイルを保存します。
4. VS CodeまたはIDEを再起動します。
5. GitHub CopilotがCrawleoを使用してウェブ検索を行えるようになります！

使用例

Copilotに尋ねる: "最新のPythonのベストプラクティスを検索してください"
Copilotに尋ねる: "このライブラリのドキュメントを見つけてください"

5. OpenAI Platform（直接統合）

OpenAIは現在、直接MCPサーバーをサポートしています！以下は、OpenAIのAPIでCrawleoを使用する方法です。

Pythonの例

from openai import OpenAI

client = OpenAI()

response = client.responses.create(
    model="gpt-4",
    input=[
        {
            "role": "user",
            "content": [
                {
                    "type": "input_text",
                    "text": "search for latest news about openai models"
                }
            ]
        }
    ],
    text={
        "format": {
            "type": "text"
        },
        "verbosity": "medium"
    },
    reasoning={
        "effort": "medium"
    },
    tools=[
        {
            "type": "mcp",
            "server_label": "Crawleo",
            "server_url": "https://api.crawleo.dev/mcp",
            "server_description": "Crawleo MCP Server - Real-Time Web Knowledge for AI",
            "authorization": "YOUR_API_KEY_HERE",
            "allowed_tools": [
                "web.search",
                "web.crawl"
            ],
            "require_approval": "always"
        }
    ],
    store=True,
    include=[
        "reasoning.encrypted_content",
        "web_search_call.action.sources"
    ]
)

print(response)

主要なパラメータ

• server_url - Crawleo MCPエンドポイント
• authorization - あなたのCrawleo APIキー
• allowed_tools - web.search および/または web.crawl を有効にする
• require_approval - "always"、"never"、または "conditional" に設定する

Node.jsの例

import OpenAI from 'openai';

const client = new OpenAI();

const response = await client.responses.create({
  model: 'gpt-4',
  input: [
    {
      role: 'user',
      content: [
        {
          type: 'input_text',
          text: 'search for latest AI developments'
        }
      ]
    }
  ],
  tools: [
    {
      type: 'mcp',
      server_label: 'Crawleo',
      server_url: 'https://api.crawleo.dev/mcp',
      server_description: 'Crawleo MCP Server - Real-Time Web Knowledge for AI',
      authorization: 'YOUR_API_KEY_HERE',
      allowed_tools: ['web.search', 'web.crawl'],
      require_approval: 'always'
    }
  ]
});

console.log(response);

利用可能なツール

web.search

カスタマイズ可能なパラメータでリアルタイムにウェブ検索を行います。

パラメータ

• query (必須) - 検索用語
• max_pages - 結果ページの数（デフォルト: 1）
• setLang - 言語コード（例: "en", "ar"）
• cc - 国コード（例: "US", "EG"）
• device - デバイスタイプ: "desktop", "mobile", "tablet"（デフォルト: "desktop"）
• enhanced_html - クリーンなHTMLを取得（デフォルト: true）
• raw_html - 生HTMLを取得（デフォルト: false）
• markdown - Markdown形式を取得（デフォルト: true）
• page_text - プレーンテキストを取得（デフォルト: false）
• auto_crawling - 結果のURLを自動クローリング（デフォルト: false）

例

AIに尋ねる: "Pythonのウェブスクレイピングを検索し、結果をMarkdownで返してください"

web.crawl

特定のURLからコンテンツを抽出します。

パラメータ

• urls (必須) - クローリングするURLのリスト
• rawHtml - 生HTMLを返す（デフォルト: false）
• markdown - Markdownに変換する（デフォルト: false）
• screenshot - スクリーンショットを撮る（オプション）
• country - 地理的な位置

例

AIに尋ねる: "https://example.comをクローリングし、メインコンテンツをMarkdownで抽出してください"

トラブルシューティング

MCPサーバーが表示されない場合

1. 設定ファイルの場所を確認 - 正しいファイルを編集していることを確認します。
2. JSON構文を検証 - JSONバリデータを使用して構文エラーをチェックします。
3. アプリケーションを再起動 - 完全に終了して再開します（単なる再読み込みではなく）。
4. APIキーを確認 - crawleo.devでAPIキーが有効かつアクティブであることを確認します。

認証エラーの場合

• APIキーが正しいことを確認します（sk_で始まる必要があります）。
• キーが引用符で囲まれていることを確認します。
• Claude/Cursor/Windsurfの場合、Authorizationヘッダーに "Bearer " 接頭辞が含まれていることを確認します。
• OpenAI Platformの場合、authorization フィールドに直接キーを使用します。
• crawleo.devでアカウントに利用可能なクレジットがあることを確認します。

結果が返されない場合

• インターネット接続を確認します。
• 検索クエリが空でないことを確認します。
• まず、より単純な検索クエリを試してみます。
• crawleo.devでAPIのステータスを確認します。

ツール名が認識されない場合

正しいツール名を使用していることを確認します。

• web.search を使用します（search_web ではなく）。
• web.crawl を使用します（crawl_web ではなく）。

💻 使用例

調査アシスタント

"量子コンピューティングの最近の開発を検索し、主要な発見を要約してください"

コンテンツ分析

"競合他社の価格ページを検索し、価格帯を抽出してください"

コードドキュメント

"FastAPIの公式ドキュメントを見つけ、クイックスタートガイドを抽出してください"

ニュース監視

"米国の情報源からの今日の人工知能に関するニュースを検索してください"

市場調査

"iPhone 15の顧客レビューを検索し、センチメントを分析してください"

価格

Crawleo MCPはAPIと同じ手頃な価格設定を採用しています。

• 10,000回の検索 → 20ドル
• 100,000回の検索 → 100ドル
• 250,000回の検索 → 200ドル

crawleo.devで使用状況を確認し、サブスクリプションを管理できます。

プライバシーとセキュリティ

✅ データを保持しない - 検索クエリや結果を保存することはありません。
✅ 安全な認証 - APIキーはHTTPSを通じて送信されます。
✅ トラッキングなし - あなたの使用パターンはプライベートに保たれます。

サポート

• ドキュメント: crawleo.dev/docs
• APIステータス: crawleo.dev/status
• お問い合わせ: support@crawleo.dev

リンク

• 🌐 ウェブサイト: crawleo.dev
• 📚 ドキュメント: crawleo.dev/docs
• 🔑 APIキーを取得: crawleo.dev