Spider MCP

🚀 Spider MCP - ウェブ検索クローラーサービス

Node.jsで構築された、純粋なクローラー技術に基づくウェブ検索MCPサービスです。このサービスは、ウェブ検索やニュース検索を効率的に行うことができます。

✨ 主な機能

• ❌ 公式API不要：完全にクローラー技術に基づいており、サードパーティの公式APIに依存しません。
• 🔍 インテリジェントな検索：Bingのウェブ検索とニュース検索をサポートします。
• 📰 ニュース検索：時間フィルタリング付きのニュース検索機能が組み込まれています。
• 🕷️ 純粋なクローラー：公式APIに依存せず、Puppeteerを使用してウェブスクレイピングを行います。
• 🚀 高性能：バッチウェブスクレイピングをサポートします。
• 📊 ヘルスモニタリング：完全なヘルスチェックとメトリクスモニタリングが可能です。
• 📝 構造化ロギング：Winstonを使用して構造化ログを記録します。
• 🔒 検知回避：User-Agentのローテーションなどの反ボット対策をサポートします。
• 🔗 スマートなURLクリーニング：必須情報を保持しながら、宣伝用のパラメータを自動的にクリーニングします。

🔧 技術詳細

🚀 クイックスタート

1. 依存関係のインストール

npm install

またはpnpmを使用する場合は

pnpm install

2. Puppeteerブラウザのダウンロード

npx puppeteer browsers install chrome

3. 環境設定

環境変数ファイルをコピーして設定します。

cp .env.example .env

必要に応じて.envファイルを編集します。

4. サービスの起動

開発モード:

npm run dev

本番モード:

npm start

サービスはhttp://localhost:3000で起動します。

💻 使用例

基本的な使用法

web_search

ウェブ検索とニュース検索の両方をサポートする統一検索ツールです。

• ウェブ検索: searchType: "web"
• ニュース検索: searchType: "news" で時間フィルタリングが可能
• 注意: searchType は必須パラメータで、明示的に指定する必要があります。

# ウェブ検索
web_searchツールを使用して、searchTypeをwebに設定して「Node.js tutorial」を検索し、10件の結果を返す

# ニュース検索
web_searchツールを使用して、searchTypeをnewsに設定して「tech news」を検索し、過去24時間の5件の結果を返す

高度な使用法

その他のツール

• get_webpage_content: ウェブページの内容を取得して指定された形式に変換します。
• get_webpage_source: ウェブページの生のHTMLソースコードを取得します。
• batch_webpage_scrape: 複数のウェブページをバッチでスクレイピングします。

📚 ドキュメント

MCP設定

Chatbox設定

Chatboxにmcp-config.jsonファイルを作成します。

{
  "mcpServers": {
    "spider-mcp": {
      "command": "node",
      "args": ["src/mcp/server.js"],
      "env": {
        "NODE_ENV": "production"
      },
      "description": "Spider MCP - ウェブ検索とウェブページスクレイピングツール",
      "capabilities": {
        "tools": {}
      }
    }
  }
}

その他のMCPクライアント

{
  "mcpServers": {
    "spider-mcp": {
      "command": "node",
      "args": ["path/to/spider-mcp/src/mcp/server.js"]
    }
  }
}

📄 ライセンス

MITライセンス

📝 開発

プロジェクト構造

spider-mcp/
├── src/
│   ├── index.js          # メインエントリーファイル
│   ├── mcp/
│   │   └── server.js     # MCPサーバー
│   ├── routes/           # ルート定義
│   │   ├── search.js     # 検索ルート
│   │   └── health.js     # ヘルスチェックルート
│   ├── services/         # ビジネスロジック
│   │   └── searchService.js # 検索サービス
│   └── utils/            # ユーティリティ関数
│       └── logger.js     # ロギングユーティリティ
├── logs/                 # ログファイルディレクトリ
├── tests/                # テストファイル
├── package.json          # プロジェクト設定
├── .env.example          # 環境変数の例
├── mcp-config.json       # MCP設定の例
└── README.md             # プロジェクトドキュメント

📋 重要事項

⚠️ 重要提示

1. 反ボット対策：このサービスは検知を回避するためにさまざまな技術を使用していますが、依然としてrobots.txtと利用規約に準拠する必要があります。
2. レート制限：ターゲットウェブサイトに負荷をかけないように、リクエスト頻度を適切に制御することをお勧めします。
3. 法的遵守：このサービスを使用する際は、地元の法律とウェブサイトの利用規約に準拠することを確認してください。
4. リソース消費：PuppeteerはChromeブラウザを起動するため、メモリとCPUの使用量に注意してください。
5. URLクリーニング：宣伝用のパラメータを自動的にクリーニングしますが、一部の特殊なリンクの機能に影響を与える可能性があります。

🤝 貢献

イシューとプルリクエストを歓迎します！