Watercrawl MCP

🚀 WaterCrawl MCP

WaterCrawl 用のモデルコンテキストプロトコル (MCP) サーバーです。FastMCP を使用して構築されています。このパッケージは、標準化されたインターフェースを通じて、AIシステムにウェブクローリング、スクレイピング、検索機能を提供します。

🚀 クイックスタート

npxを使用した即時実行 (インストール不要)

npxを使用することで、インストールせずに直接WaterCrawl MCPを使用できます。

npx @watercrawl/mcp --api-key YOUR_API_KEY

AIアシスタントとの連携

Codeium/Windsurf

このパッケージをインストールせずに、CodeiumまたはWindsurfを設定します。

{
  "mcpServers": {
    "watercrawl": {
      "command": "npx",
      "args": [
        "@watercrawl/mcp",
        "--api-key",
        "YOUR_API_KEY",
        "--base-url",
        "https://app.watercrawl.dev"
      ]
    }
  }
}

Claude Desktop

WaterCrawl MCPをSSEモードで実行します。

npx @watercrawl/mcp sse --port 3000 --endpoint /sse --api-key YOUR_API_KEY

その後、Claude Desktopを設定してSSEサーバーに接続します。

コマンドラインオプション

• -b, --base-url <url>: WaterCrawl APIのベースURL (デフォルト: https://app.watercrawl.dev)
• -k, --api-key <key>: 必須。あなたのWaterCrawl APIキー
• -h, --help: ヘルプ情報を表示
• -V, --version: バージョン情報を表示

SSEモードの追加オプション:

• -p, --port <number>: SSEサーバーのポート (デフォルト: 3000)
• -e, --endpoint <path>: SSEエンドポイントのパス (デフォルト: /sse)

🔧 開発と貢献

プロジェクト構造

wc-mcp/
├── src/                   # ソースコード
│   ├── cli/               # コマンドラインインターフェース
│   ├── config/            # 設定管理
│   ├── mcp/               # MCPの実装
│   ├── services/          # WaterCrawl APIサービス
│   └── tools/             # MCPツールの実装
├── tests/                 # テストスイート
├── dist/                  # コンパイルされたJavaScript
├── tsconfig.json          # TypeScriptの設定
├── package.json           # npmパッケージの設定
└── README.md              # このファイル

開発環境のセットアップ

1. リポジトリをクローンし、依存関係をインストールします。

git clone https://github.com/watercrawl/watercrawl-mcp
cd watercrawl-mcp
npm install

2. プロジェクトをビルドします。

npm run build

3. ローカル開発用にパッケージをリンクします。

npm link @watercrawl/mcp

貢献ガイドライン

1. リポジトリをフォークします。
2. フィーチャーブランチを作成します (git checkout -b feature/your-feature)。
3. 変更をコミットします (git commit -m 'Add your feature')。
4. ブランチにプッシュします (git push origin feature/your-feature)。
5. プルリクエストを作成します。

📦 インストール (npxの代替方法)

グローバルインストール

npm install -g @watercrawl/mcp

ローカルインストール

npm install @watercrawl/mcp

⚙️ 設定

環境変数またはコマンドラインパラメータを使用して、WaterCrawl MCPを設定します。

環境変数

.envファイルを作成するか、環境変数を設定します。

WATERCRAWL_BASE_URL=https://app.watercrawl.dev
WATERCRAWL_API_KEY=YOUR_API_KEY
SSE_PORT=3000                  # オプション、SSEモード用
SSE_ENDPOINT=/sse              # オプション、SSEモード用

💻 使用例

1. scrape-url

URLからコンテンツをスクレイピングします。オプションをカスタマイズできます。

{
  "url": "https://example.com",
  "pageOptions": {
    "exclude_tags": ["script", "style"],
    "include_tags": ["p", "h1", "h2"],
    "wait_time": 1000,
    "only_main_content": true,
    "include_html": false,
    "include_links": true,
    "timeout": 15000,
    "accept_cookies_selector": ".cookies-accept-button",
    "locale": "en-US",
    "extra_headers": {
      "User-Agent": "Custom User Agent"
    },
    "actions": [
      {"type": "screenshot"},
      {"type": "pdf"}
    ]
  },
  "sync": true,
  "download": true
}

2. search

WaterCrawlを使用してウェブ検索を行います。

{
  "query": "artificial intelligence latest developments",
  "searchOptions": {
    "language": "en",
    "country": "us",
    "time_range": "recent",
    "search_type": "web",
    "depth": "deep"
  },
  "resultLimit": 5,
  "sync": true,
  "download": true
}

3. download-sitemap

クロールリクエストからサイトマップを異なる形式でダウンロードします。

{
  "crawlRequestId": "uuid-of-crawl-request",
  "format": "json" // or "graph" or "markdown"
}

4. manage-crawl

クロールリクエストを管理します: 一覧表示、詳細取得、停止、または結果のダウンロード。

{
  "action": "list", // or "get", "stop", "download"
  "crawlRequestId": "uuid-of-crawl-request", // for get, stop, and download actions
  "page": 1,
  "pageSize": 10
}

5. manage-search

検索リクエストを管理します: 一覧表示、詳細取得、または実行中の検索を停止。

{
  "action": "list", // or "get", "stop"
  "searchRequestId": "uuid-of-search-request", // for get and stop actions
  "page": 1,
  "pageSize": 10,
  "download": true
}

6. monitor-request

クロールまたは検索リクエストをリアルタイムで監視し、タイムアウトを制御します。

{
  "type": "crawl", // or "search"
  "requestId": "uuid-of-request",
  "timeout": 30, // in seconds
  "download": true
}

📄 ライセンス

ISC