Spider MCP

🚀 スパイダーMCP - Web検索クローラーサービス

Node.jsで構築された、純粋なクローラー技術に基づくWeb検索MCPサービスです。

✨ 主な機能

• ❌ 公式API不要：完全にクローラー技術に基づいており、サードパーティの公式APIに依存しません。
• 🔍 インテリジェント検索：BingのWeb検索とニュース検索をサポートします。
• 📰 ニュース検索：時間フィルタリング機能付きのニュース検索が内蔵されています。
• 🕷️ 純粋なクローラー：公式APIに依存せず、Puppeteerを使用してWebスクレイピングを行います。
• 🚀 高性能：バッチWebスクレイピングをサポートします。
• 📊 ヘルスモニタリング：完全なヘルスチェックとメトリクス監視が可能です。
• 📝 構造化ロギング：Winstonを使用して構造化ログを記録します。
• 🔒 検知回避：User-Agentのローテーションなどの反ボット対策をサポートします。
• 🔗 スマートURLクリーニング：重要な情報を保持しつつ、宣伝用のパラメータを自動的にクリーニングします。

🔧 技術詳細

🚀 クイックスタート

1. 依存関係のインストール

npm install

またはpnpmを使用する場合は、

pnpm install

2. Puppeteerブラウザのダウンロード

npx puppeteer browsers install chrome

3. 環境設定

環境変数ファイルをコピーして設定します。

cp .env.example .env

.envファイルを必要に応じて編集してください。

4. サービスの起動

開発モード：

npm run dev

本番モード：

npm start

サービスはhttp://localhost:3000で起動します。

💻 使用例

web_search

Web検索とニュース検索の両方をサポートする統一検索ツールです。

• Web検索：searchType: "web"
• ニュース検索：searchType: "news"（時間フィルタリング付き）
• 注意：searchTypeは必須パラメータであり、明示的に指定する必要があります。

使用例：

# Web検索
searchTypeをwebに設定して、"Node.js tutorial"を検索し、10件の結果を返す。
# ニュース検索
searchTypeをnewsに設定して、"tech news"を検索し、過去24時間以内の5件の結果を返す。

その他のツール

• get_webpage_content：Webページの内容を取得し、指定された形式に変換します。
• get_webpage_source：Webページの生のHTMLソースコードを取得します。
• batch_webpage_scrape：複数のWebページをバッチでスクレイピングします。

📚 ドキュメント

Chatboxの設定

Chatboxにmcp-config.jsonファイルを作成します。

{
  "mcpServers": {
    "spider-mcp": {
      "command": "node",
      "args": ["src/mcp/server.js"],
      "env": {
        "NODE_ENV": "production"
      },
      "description": "Spider MCP - Web search and webpage scraping tools",
      "capabilities": {
        "tools": {}
      }
    }
  }
}

その他のMCPクライアント

{
  "mcpServers": {
    "spider-mcp": {
      "command": "node",
      "args": ["path/to/spider-mcp/src/mcp/server.js"]
    }
  }
}

⚠️ 重要な注意事項

1. 反ボット対策：このサービスは検知を回避するためのさまざまな技術を使用していますが、依然としてrobots.txtや利用規約に準拠する必要があります。
2. レート制限：ターゲットウェブサイトに負荷をかけないように、リクエスト頻度を適切に制御することをお勧めします。
3. 法的な遵守：このサービスを使用する際は、地元の法律やウェブサイトの利用規約に準拠していることを確認してください。
4. リソース消費：PuppeteerはChromeブラウザを起動するため、メモリとCPUの使用量に注意してください。
5. URLクリーニング：宣伝用のパラメータを自動的にクリーニングするため、一部の特殊なリンクの機能に影響を与える可能性があります。

🔧 開発

プロジェクト構造

spider-mcp/
├── src/
│   ├── index.js          # メインエントリーファイル
│   ├── mcp/
│   │   └── server.js     # MCPサーバー
│   ├── routes/           # ルート定義
│   │   ├── search.js     # 検索ルート
│   │   └── health.js     # ヘルスチェックルート
│   ├── services/         # ビジネスロジック
│   │   └── searchService.js # 検索サービス
│   └── utils/            # ユーティリティ関数
│       └── logger.js     # ロギングユーティリティ
├── logs/                 # ログファイルディレクトリ
├── tests/                # テストファイル
├── package.json          # プロジェクト設定
├── .env.example          # 環境変数の例
├── mcp-config.json       # MCP設定の例
└── README.md             # プロジェクトドキュメント

📄 ライセンス

MITライセンス

貢献

イシューとプルリクエストを歓迎します！