Webscraping Ai MCP Server

🚀 WebScraping.AI MCP 服務器文檔

WebScraping.AI MCP 服務器基於 Model Context Protocol (MCP)，可與大型語言模型（LLMs）集成。它實現了 Model Context Protocol，支持任何啟用 MCP 的 LLM 平臺，為網頁數據處理和語言模型交互提供了便利。

🚀 快速開始

WebScraping.AI 提供了一個基於 Model Context Protocol (MCP) 的服務器，用於與大型語言模型（LLMs）集成。要使用該服務器，你可以按照下面的步驟進行操作。

📦 安裝指南

克隆倉庫

git clone https://github.com/webscraping-ai/webscraping-ai-mcp-server.git
cd webscraping-ai-mcp-server

安裝依賴項

npm install

📚 詳細文檔

配置

創建並編輯 .env 文件，添加以下環境變量：

• WEBSCRAPING_AI_API_KEY：你的 WebScraping.AI API 密鑰
• 其他可選環境變量如代理和日誌級別

示例 .env 文件內容如下：

WEBSCRAPING_AI_API_KEY=your-api-key
# Optional proxy settings
HTTP_PROXY=http://example.com:1080
HTTPS_PROXY=https://example.com:1080
NO_PROXY=localhost,127.0.0.1
# 日誌級別選項：debug, info, warning, error, critical
LOG_LEVEL=info

使用示例

基礎用法

以下是一個使用 webscraping-ai-mcp 命令行工具的示例：

npx webscraping-ai-mcp --url https://example.com --output json

參數選項

• --url：要爬取的目標 URL（必填）
• --output：輸出格式，支持 text 或 json
• 其他高級參數如代理設置和請求頭

工具列表

網頁抓取工具

{
  "name": "webscraping_ai_fetch",
  "description": "從目標 URL 抓取網頁內容。",
  "parameters": {
    "type": "object",
    "properties": {
      "url": { "type": "string", "description": "要抓取的 URL" },
      "output_format": { "type": "string", "enum": ["text", "json"], "default": "text" }
    }
  }
}

網站分析工具

{
  "name": "webscraping_ai_analyze",
  "description": "分析目標網站的技術細節。",
  "parameters": {
    "type": "object",
    "properties": {
      "url": { "type": "string", "description": "要分析的 URL" }
    }
  }
}

賬戶信息工具

{
  "name": "webscraping_ai_account",
  "description": "獲取 WebScraping.AI 賬戶信息。",
  "parameters": {
    "type": "object",
    "properties": {}
  }
}

錯誤處理

服務器提供強大的錯誤處理功能，包括：

• 自動重試機制
• 網絡連接恢復
• 請求速率限制處理
• 詳細錯誤日誌

示例錯誤響應

{
  "error": {
    "code": "403",
    "message": "訪問被拒絕",
    "details": "請求超過了 API 配額"
  }
}

與 LLM 的集成

服務器支持通過以下步驟與 LLM 集成：

步驟 1: 安裝依賴

npm install web-scraping-ai mcp-service

步驟 2: 創建服務

const { MCPService } = require('mcp-service');
const service = new MCPService({
  apiKey: 'your-api-key',
  provider: 'openai'
});

開發

啟動開發服務器

npm run dev

測試命令

npm test

貢獻指南

提交代碼

1. 創建功能分支
2. 提交更改並推送
3. 創建拉取請求

📄 許可證

本項目遵循 MIT 許可證，具體內容如下：

• 允許自由使用、複製、修改和分發代碼
• 需要在分發作品中包含版權聲明