Crawleo MCP

🚀 Crawleo MCP 服務器

Crawleo MCP 服務器藉助模型上下文協議（MCP），為 AI 助手提供即時網絡搜索和爬取功能，助力 AI 更高效地獲取網絡數據。

🚀 快速開始

Crawleo MCP 讓 AI 助手能夠通過以下兩個強大工具訪問即時網絡數據：

• web.search - 支持多種輸出格式的即時網絡搜索
• web.crawl - 從任意 URL 進行深度內容提取

✨ 主要特性

✅ 全球即時網絡搜索：支持任意國家和語言
✅ 多樣輸出格式：提供增強 HTML、原始 HTML、Markdown、純文本等格式
✅ 設備適配：支持桌面、移動或平板視圖
✅ 深度內容提取：支持 JavaScript 渲染
✅ 數據零留存：保障完全隱私
✅ 自動爬取：可對搜索結果進行自動爬取

📦 安裝指南

選項 1：NPM（推薦本地使用）

通過 npm 全局安裝：

npm install -g crawleo-mcp

或者不安裝直接使用 npx：

npx crawleo-mcp

選項 2：克隆倉庫

git clone https://github.com/Crawleo/Crawleo-MCP.git
cd Crawleo-MCP
npm install
npm run build

選項 3：Docker

使用 Docker 構建並運行：

# 構建鏡像
docker build -t crawleo-mcp .

# 使用你的 API 密鑰運行
docker run -e CRAWLEO_API_KEY=your_api_key crawleo-mcp

MCP 客戶端的 Docker 配置：

{
  "mcpServers": {
    "crawleo": {
      "command": "docker",
      "args": ["run", "-i", "--rm", "-e", "CRAWLEO_API_KEY=YOUR_API_KEY_HERE", "crawleo-mcp"]
    }
  }
}

選項 4：遠程服務器（無需安裝）

使用託管版本 https://api.crawleo.dev/mcp - 請參閱以下配置示例。

📚 詳細文檔

獲取 API 密鑰

1. 訪問 crawleo.dev
2. 註冊免費賬戶
3. 進入你的儀表盤
4. 複製你的 API 密鑰（以 sk_ 開頭）

設置說明

使用本地 MCP 服務器（npm 包）

通過 npm 安裝後，配置你的 MCP 客戶端以使用本地服務器： Claude Desktop / Cursor / Windsurf（本地）：

{
  "mcpServers": {
    "crawleo": {
      "command": "npx",
      "args": ["crawleo-mcp"],
      "env": {
        "CRAWLEO_API_KEY": "YOUR_API_KEY_HERE"
      }
    }
  }
}

或者如果是全局安裝：

{
  "mcpServers": {
    "crawleo": {
      "command": "crawleo-mcp",
      "env": {
        "CRAWLEO_API_KEY": "YOUR_API_KEY_HERE"
      }
    }
  }
}

從克隆的倉庫運行：

{
  "mcpServers": {
    "crawleo": {
      "command": "node",
      "args": ["/path/to/Crawleo-MCP/dist/index.js"],
      "env": {
        "CRAWLEO_API_KEY": "YOUR_API_KEY_HERE"
      }
    }
  }
}

使用遠程服務器（託管）

1. Claude Desktop

配置文件位置：

• macOS：~/Library/Application Support/Claude/claude_desktop_config.json
• Windows：%APPDATA%\Claude\claude_desktop_config.json
• Linux：~/.config/Claude/claude_desktop_config.json 配置：

{
  "mcpServers": {
    "crawleo": {
      "url": "https://api.crawleo.dev/mcp",
      "transport": "http",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY_HERE"
      }
    }
  }
}

將 YOUR_API_KEY_HERE 替換為你從 crawleo.dev 獲取的實際 API 密鑰。 步驟：

1. 使用文本編輯器打開配置文件
2. 添加 Crawleo MCP 配置
3. 保存文件
4. 完全重啟 Claude Desktop（退出並重新打開）
5. 開始新對話並讓 Claude 進行網絡搜索！ 示例用法：

"搜索最新的 AI 新聞並總結前 5 篇文章"
"查找 Python 網絡爬蟲教程並提取代碼示例"

2. Cursor IDE

配置文件位置：

• macOS：~/.cursor/config.json 或 ~/Library/Application Support/Cursor/config.json
• Windows：%APPDATA%\Cursor\config.json
• Linux：~/.config/Cursor/config.json 配置：

{
  "mcpServers": {
    "crawleo": {
      "url": "https://api.crawleo.dev/mcp",
      "transport": "http",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY_HERE"
      }
    }
  }
}

步驟：

1. 找到並打開你的 Cursor 配置文件
2. 添加 Crawleo MCP 配置
3. 保存文件
4. 重啟 Cursor
5. MCP 工具將在你的 AI 助手中可用 Cursor 中的示例用法：

"搜索 React 最佳實踐並將其添加到我的代碼註釋中"
"查找此 API 端點的最新文檔"

3. Windsurf IDE

配置文件位置：

• macOS：~/Library/Application Support/Windsurf/config.json
• Windows：%APPDATA%\Windsurf\config.json
• Linux：~/.config/Windsurf/config.json 配置：

{
  "mcpServers": {
    "crawleo": {
      "url": "https://api.crawleo.dev/mcp",
      "transport": "http",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY_HERE"
      }
    }
  }
}

步驟：

1. 打開 Windsurf 配置文件
2. 添加 Crawleo MCP 服務器配置
3. 保存並重啟 Windsurf
4. 在你的編碼工作流程中開始使用網絡搜索

4. GitHub Copilot

配置文件位置： 對於 VS Code 或兼容編輯器中的 GitHub Copilot，你需要配置 MCP 服務器。 配置： 創建或編輯你的 MCP 配置文件並添加：

{
  "servers": {
    "Crawleo": {
      "url": "https://api.crawleo.dev/mcp",
      "transport": "http",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY_HERE"
      }
    }
  }
}

包含多個服務器的完整示例：

{
  "servers": {
    "Crawleo": {
      "url": "https://api.crawleo.dev/mcp",
      "transport": "http",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY_HERE"
      }
    }
  }
}

步驟：

1. 打開你的 GitHub Copilot MCP 配置
2. 添加 Crawleo 服務器配置
3. 保存文件
4. 重啟 VS Code 或你的 IDE
5. GitHub Copilot 現在可以使用 Crawleo 進行網絡搜索！ 示例用法：

向 Copilot 提問："搜索最新的 Python 最佳實踐"
向 Copilot 提問："查找此庫的文檔"

5. OpenAI 平臺（直接集成）

OpenAI 現在直接支持 MCP 服務器！以下是如何將 Crawleo 與 OpenAI 的 API 結合使用： Python 示例：

from openai import OpenAI

client = OpenAI()

response = client.responses.create(
    model="gpt-4",
    input=[
        {
            "role": "user",
            "content": [
                {
                    "type": "input_text",
                    "text": "search for latest news about openai models"
                }
            ]
        }
    ],
    text={
        "format": {
            "type": "text"
        },
        "verbosity": "medium"
    },
    reasoning={
        "effort": "medium"
    },
    tools=[
        {
            "type": "mcp",
            "server_label": "Crawleo",
            "server_url": "https://api.crawleo.dev/mcp",
            "server_description": "Crawleo MCP Server - Real-Time Web Knowledge for AI",
            "authorization": "YOUR_API_KEY_HERE",
            "allowed_tools": [
                "web.search",
                "web.crawl"
            ],
            "require_approval": "always"
        }
    ],
    store=True,
    include=[
        "reasoning.encrypted_content",
        "web_search_call.action.sources"
    ]
)

print(response)

關鍵參數：

• server_url - Crawleo MCP 端點
• authorization - 你的 Crawleo API 密鑰
• allowed_tools - 啟用 web.search 和/或 web.crawl
• require_approval - 設置為 "always"、"never" 或 "conditional"

Node.js 示例：

import OpenAI from 'openai';

const client = new OpenAI();

const response = await client.responses.create({
  model: 'gpt-4',
  input: [
    {
      role: 'user',
      content: [
        {
          type: 'input_text',
          text: 'search for latest AI developments'
        }
      ]
    }
  ],
  tools: [
    {
      type: 'mcp',
      server_label: 'Crawleo',
      server_url: 'https://api.crawleo.dev/mcp',
      server_description: 'Crawleo MCP Server - Real-Time Web Knowledge for AI',
      authorization: 'YOUR_API_KEY_HERE',
      allowed_tools: ['web.search', 'web.crawl'],
      require_approval: 'always'
    }
  ]
});

console.log(response);

可用工具

web.search

使用可定製參數進行即時網絡搜索。 參數：

• query (必需) - 搜索詞
• max_pages - 結果頁數（默認：1）
• setLang - 語言代碼（例如，"en"，"ar"）
• cc - 國家代碼（例如，"US"，"EG"）
• device - 設備類型："desktop"，"mobile"，"tablet"（默認："desktop"）
• enhanced_html - 獲取乾淨的 HTML（默認：true）
• raw_html - 獲取原始 HTML（默認：false）
• markdown - 獲取 Markdown 格式（默認：true）
• page_text - 獲取純文本（默認：false）
• auto_crawling - 自動爬取結果 URL（默認：false） 示例：

向你的 AI 提問："搜索 'Python 網絡爬蟲' 並以 Markdown 格式返回結果"

web.crawl

從特定 URL 提取內容。 參數：

• urls (必需) - 要爬取的 URL 列表
• rawHtml - 返回原始 HTML（默認：false）
• markdown - 轉換為 Markdown（默認：false）
• screenshot - 捕獲屏幕截圖（可選）
• country - 地理位置 示例：

向你的 AI 提問："爬取 https://example.com 並以 Markdown 格式提取主要內容"

故障排除

MCP 服務器未顯示

1. 檢查配置文件位置 - 確保你編輯的是正確的文件
2. 驗證 JSON 語法 - 使用 JSON 驗證器檢查語法錯誤
3. 重啟應用程序 - 完全退出並重新打開（不僅僅是重新加載）
4. 檢查 API 密鑰 - 確保你的 API 密鑰在 crawleo.dev 上有效且處於活動狀態

身份驗證錯誤

• 驗證你的 API 密鑰是否正確（應以 sk_ 開頭）
• 確保密鑰用引號括起來
• 檢查 "Bearer " 前綴是否包含在 Authorization 標頭中（適用於 Claude/Cursor/Windsurf）
• 對於 OpenAI 平臺，直接在 authorization 字段中使用密鑰
• 確認你的賬戶在 crawleo.dev 上有可用的信用額度

無結果返回

• 檢查你的互聯網連接
• 驗證搜索查詢是否為空
• 先嚐試更簡單的搜索查詢
• 在 crawleo.dev 上檢查 API 狀態

工具名稱未被識別

確保使用正確的工具名稱：

• 使用 web.search（而不是 search_web）
• 使用 web.crawl（而不是 crawl_web）

💻 使用示例

研究助手

"搜索量子計算的最新發展並總結關鍵發現"

內容分析

"搜索競爭對手的定價頁面並提取其定價層級"

代碼文檔

"查找 FastAPI 的官方文檔並提取快速入門指南"

新聞監測

"搜索美國來源的今日人工智能新聞"

市場研究

"搜索 iPhone 15 的客戶評論並分析情感"

📚 定價

Crawleo MCP 使用與我們的 API 相同的實惠定價：

• 10,000 次搜索 → 20 美元
• 100,000 次搜索 → 100 美元
• 250,000 次搜索 → 200 美元 在 crawleo.dev 上查看你的使用情況並管理你的訂閱。

🔧 技術細節

隱私與安全

✅ 數據零留存 - 我們從不存儲你的搜索查詢或結果
✅ 安全認證 - API 密鑰通過 HTTPS 傳輸
✅ 無跟蹤 - 你的使用模式保持私密

📄 許可證

文檔中未提及相關內容，暫不展示。

🔗 相關鏈接

• 🌐 網站：crawleo.dev
• 📚 文檔：crawleo.dev/docs
• 🔑 獲取 API 密鑰：crawleo.dev

📞 支持

• 文檔：crawleo.dev/docs
• API 狀態：crawleo.dev/status
• 聯繫我們：support@crawleo.dev