Mcpserver

🚀 Web Scraper MCP Server

Model Context Protocol (MCP) をベースにした TypeScript のウェブスクレイピングサーバーです。様々な一般的なスクレイピングとコマンドツールが組み込まれています。

🚀 クイックスタート

この Web Scraper MCP Server は、Model Context Protocol (MCP) を利用した TypeScript 製のウェブスクレイピングサーバーです。様々な便利な機能を備え、ウェブサイトからのデータ収集を効率的に行うことができます。

✨ 主な機能

• 🚀 複数のエクスポート形式: スクレイピングした内容を Markdown、Text、HTML、JSON 形式でエクスポートできます。
• 🎭 Puppeteer ヘッドレスブラウザ: 静的化されていない SPA シングルページアプリケーションのレンダリング問題を解決します。
• 📋 ルールセットのサポート: ルールセットを設定して、ウェブページの特定部分の内容を取得できます。
• 🔧 カスタムドメインヘッダー: カスタムドメインのヘッダーを設定して、ウェブサイトのログイン制限を回避できます。
• 📦 バッチスクレイピング: 複数の URL を同時にスクレイピングできます。
• 🎯 スマートなコンテンツ抽出: ウェブページの主要内容を自動的に識別して抽出します。

📦 インストール

# プロジェクトをクローンする
git clone <repository-url>
cd web-scraper-mcp

# 依存関係をインストールする
npm install

# プロジェクトをビルドする
npm run build

💻 使用例

サーバーを起動する

npm start

利用可能なツール

1. scrape_url - 単一のウェブページをスクレイピングする

{
  "name": "scrape_url",
  "arguments": {
    "url": "https://example.com",
    "format": "markdown",
    "usePuppeteer": false,
    "ruleSet": "blog",
    "customHeaders": {
      "Authorization": "Bearer token"
    }
  }
}

パラメータの説明:

• url (必須): スクレイピングするウェブページの URL
• format (オプション): エクスポート形式。markdown、text、html、json がサポートされ、デフォルトは markdown
• usePuppeteer (オプション): Puppeteer ヘッドレスブラウザを使用するかどうか。デフォルトは false
• ruleSet (オプション): 特定の内容を抽出するためのルールセット名
• customHeaders (オプション): カスタムリクエストヘッダー

2. create_rule_set - コンテンツ抽出ルールセットを作成する

{
  "name": "create_rule_set",
  "arguments": {
    "name": "my_blog_rule",
    "rules": {
      "title": "h1, .post-title",
      "content": ".post-content, article",
      "links": ".post-content a",
      "images": ".post-content img",
      "exclude": ["nav", "footer", ".sidebar"]
    }
  }
}

パラメータの説明:

• name (必須): ルールセット名
• rules (必須): 抽出ルールの設定
  • title: タイトルのセレクター
  • content: コンテンツのセレクター
  • links: リンクのセレクター
  • images: 画像のセレクター
  • exclude: 除外するセレクターのリスト

3. set_domain_headers - ドメインのリクエストヘッダーを設定する

{
  "name": "set_domain_headers",
  "arguments": {
    "domain": "example.com",
    "headers": {
      "Authorization": "Bearer your-token",
      "X-Custom-Header": "custom-value"
    }
  }
}

4. batch_scrape - バッチスクレイピング

{
  "name": "batch_scrape",
  "arguments": {
    "urls": [
      "https://example1.com",
      "https://example2.com",
      "https://example3.com"
    ],
    "format": "markdown",
    "usePuppeteer": false,
    "ruleSet": "blog"
  }
}

事前定義されたルールセット

システムには以下のルールセットが組み込まれています。

• blog: ほとんどのブログ記事ページに適用
• news: ニュースサイトの記事に適用
• product: 電子商取引の商品ページに適用
• documentation: 技術文書ページに適用
• forum: フォーラムの投稿ページに適用

エクスポート形式

Markdown

ウェブページの内容を Markdown 形式に変換し、タイトル、コンテンツ、リンク、画像を含みます。

Text

すべての HTML タグを削除した純粋なテキスト形式。

HTML

スクリプトとスタイルを削除したクリーンな HTML 形式。

JSON

抽出したすべての情報を含む完全な構造化データ。

📚 ドキュメント

開発に関する情報

プロジェクト構造

src/
├── index.ts              # メインサーバーファイル
├── scraper/
│   └── webScraper.ts     # ウェブスクレイパー
├── export/
│   └── exportManager.ts  # エクスポートマネージャー
├── rules/
│   └── ruleEngine.ts     # ルールエンジン
├── headers/
│   └── headerManager.ts  # リクエストヘッダーマネージャー
└── utils/
    └── logger.ts         # ログツール

開発モード

# ファイルの変更を監視し、自動的に再構築する
npm run dev

テスト

npm test

設定に関する情報

環境変数

• LOG_LEVEL: ログレベル (debug, info, warn, error)
• PUPPETEER_TIMEOUT: Puppeteer のタイムアウト時間（ミリ秒）
• REQUEST_TIMEOUT: HTTP リクエストのタイムアウト時間（ミリ秒）

カスタム設定

ソースコードを編集することで、以下をカスタマイズできます。

1. デフォルトのリクエストヘッダー: src/headers/headerManager.ts を編集
2. 事前定義されたルールセット: src/rules/ruleEngine.ts を編集
3. エクスポート形式: src/export/exportManager.ts を編集

よくある質問

Q: なぜ一部のウェブサイトのスクレイピングが失敗するのですか？

A: ウェブサイトに反スクレイピング機能がある可能性があります。以下を試してみてください。

1. usePuppeteer: true を使用して、ヘッドレスブラウザを有効にする
2. 適切なカスタムリクエストヘッダーを設定する
3. 事前定義された反検出用のリクエストヘッダーを使用する

Q: ログインが必要なウェブサイトをどのように処理すればいいですか？

A: set_domain_headers ツールを使用して、Cookie または Authorization などの認証情報を含むリクエストヘッダーを設定します。

Q: SPA アプリケーションの内容が空の場合はどうすればいいですか？

A: usePuppeteer: true を設定して、Puppeteer で動的な内容をレンダリングします。

📄 ライセンス

MIT License

貢献

Issue と Pull Request の投稿を歓迎します！