Webscraping Ai MCP Server

🚀 WebScraping.AI MCP サーバードキュメント

WebScraping.AI は、Model Context Protocol (MCP) に基づくサーバーを提供しています。このサーバーは、大型言語モデル（LLMs）との統合に使用でき、Model Context Protocol を実装しており、MCP をサポートするすべての LLM プラットフォームと互換性があります。

🚀 クイックスタート

WebScraping.AI サーバーを使用するには、以下の手順に従ってください。

📦 インストール

リポジトリのクローン

git clone https://github.com/webscraping-ai/webscraping-ai-mcp-server.git
cd webscraping-ai-mcp-server

依存関係のインストール

npm install

📚 ドキュメント

設定

.env ファイルを作成して編集し、以下の環境変数を追加します。

• WEBSCRAPING_AI_API_KEY: あなたの WebScraping.AI API キー
• プロキシやログレベルなどの他のオプション環境変数

.env ファイルの例は以下の通りです。

WEBSCRAPING_AI_API_KEY=your-api-key
# オプションのプロキシ設定
HTTP_PROXY=http://example.com:1080
HTTPS_PROXY=https://example.com:1080
NO_PROXY=localhost,127.0.0.1
# ログレベルオプション: debug, info, warning, error, critical
LOG_LEVEL=info

使用例

webscraping-ai-mcp コマンドラインツールの使用例を以下に示します。

npx webscraping-ai-mcp --url https://example.com --output json

パラメータオプション

• --url: クロールする対象の URL（必須）
• --output: 出力形式で、text または json をサポート
• プロキシ設定やリクエストヘッダーなどの他の高度なパラメータ

ツールリスト

以下は、利用可能な WebScraping.AI ツールです。

1. ウェブページクローリングツール

{
  "name": "webscraping_ai_fetch",
  "description": "対象の URL からウェブページの内容をクロールします。",
  "parameters": {
    "type": "object",
    "properties": {
      "url": { "type": "string", "description": "クロールする URL" },
      "output_format": { "type": "string", "enum": ["text", "json"], "default": "text" }
    }
  }
}

2. ウェブサイト分析ツール

{
  "name": "webscraping_ai_analyze",
  "description": "対象のウェブサイトの技術的詳細を分析します。",
  "parameters": {
    "type": "object",
    "properties": {
      "url": { "type": "string", "description": "分析する URL" }
    }
  }
}

3. アカウント情報ツール

{
  "name": "webscraping_ai_account",
  "description": "WebScraping.AI アカウントの情報を取得します。",
  "parameters": {
    "type": "object",
    "properties": {}
  }
}

エラー処理

サーバーは強力なエラー処理機能を提供しており、以下の機能が含まれます。

• 自動リトライ機構
• ネットワーク接続の回復
• リクエストレート制限の処理
• 詳細なエラーログ

エラー応答の例

{
  "error": {
    "code": "403",
    "message": "アクセスが拒否されました",
    "details": "リクエストが API クォータを超えました"
  }
}

LLM との統合

サーバーは、以下の手順で LLM との統合をサポートしています。

手順 1: 依存関係のインストール

npm install web-scraping-ai mcp-service

手順 2: サービスの作成

const { MCPService } = require('mcp-service');
const service = new MCPService({
  apiKey: 'your-api-key',
  provider: 'openai'
});

開発

開発サーバーの起動

npm run dev

テストコマンド

npm test

貢献ガイド

コードの提出

1. 機能ブランチを作成します。
2. 変更をコミットしてプッシュします。
3. プルリクエストを作成します。

📄 ライセンス

このプロジェクトは MIT ライセンスに従い、以下の内容が適用されます。

• コードの自由な使用、複製、変更、および配布が許可されます。
• 配布する作品に著作権表示を含める必要があります。