AI Cursor Scraping Assistant

🚀 AI-Cursor-Scraping-Assistant

このツールは、Cursor AIとMCP（モデルコンテキストプロトコル）を利用して、さまざまなタイプのウェブサイト用のウェブクローラーを簡単に生成できる強力なツールです。このプロジェクトは、ウェブサイトを迅速に分析し、最小限の労力で適切なScrapyフレームワークまたはCamoufoxテンプレートを生成するのに役立ちます。

🚀 クイックスタート

AI-Cursor-Scraping-Assistantは、人工知能とウェブクローラー技術を組み合わせたツールで、ウェブデータ収集の効率と智能化レベルを向上させることを目的としています。このツールは主にCursor AIとMCPプロトコルの2つの部分で構成されています。Cursor AIはウェブページの内容を分析および処理し、MCPプロトコルは効率的なクローラー戦略を生成するために使用されます。

✨ 主な機能

• Cursor AI：ウェブページの内容を分析および処理します。
• MCPプロトコル：効率的なクローラー戦略を生成するために使用されます。

📦 インストール

前提条件

AI-Cursor-Scraping-Assistantを使用する前に、以下の環境要件を満たしていることを確認してください。

1. Python 3.8以上をインストールしてください。
2. 必要な依存関係をインストールしてください。
   • Scrapyフレームワーク：ウェブクローラー開発に使用されます。
   • Camoufoxテンプレート：効率的なクローラー戦略を生成するために使用されます。

インストール手順

以下の手順に従ってプロジェクトをインストールしてください。

# リポジトリをクローンする
git clone https://github.com/your-username/AI-Cursor-Scraping-Assistant.git

# プロジェクトディレクトリに移動する
cd AI-Cursor-Scraping-Assistant

# 依存関係をインストールする
pip install scrapy camoufox

📚 ドキュメント

MCPサーバーの設定

1. MCPfiles/xpath_server.pyファイルを開きます。
2. コメントに従って環境変数を更新します。

import os
os.environ['CAMOUFOX_FILE_PATH'] = 'パス/へ/Camoufox_template.py'

ウェブクローラーテンプレート

• Scrapyフレームワーク：基本的なウェブクローラー開発に使用されます。
• Camoufoxテンプレート：効率的なクローラー戦略を生成するために使用されます。

詳細なルール説明

• ウェブサイト分析ルール：website-analysis.mdcファイルには、ウェブサイトの内容を分析および処理する方法のルールが含まれています。
  1. ウェブページの構造を分析します。
  2. 必要なデータを抽出します。
  3. 抽出したデータを処理します。
• Scrapyフレームワークのベストプラクティス：scrapy.mdcファイルには、Scrapyフレームワークを使用する際のベストプラクティスが提供されています。
  • クローラーコードが簡潔で理解しやすいことを確認します。
  • ミドルウェアと拡張機能を使用して機能を強化します。
  • ウェブサイトの変化に適応するために定期的にクローラー戦略を更新します。
• ウェブクローラーの作成手順：scepy-step-by-step-process.mdcファイルには、ウェブクローラーを作成するための詳細な手順が提供されています。
  1. クロール対象を決定します。
  2. クローラーのロジックを設計します。
  3. クローラーを実装してテストします。
• ウェブクローラーテンプレート：scraper-models.mdcファイルには、さまざまなタイプのウェブクローラーテンプレートが提供されています。
  • 電子商取引ウェブサイト：製品情報を収集するために使用されます。
  • ニュースウェブサイト：ニュースデータを収集するために使用されます。
• 前提条件：prerequisites.mdcファイルには、ツールを使用する前に完了する必要がある設定がリストされています。
  1. 必要な依存関係をインストールします。
  2. 環境変数を設定します。

プロジェクト構造

AI-Cursor-Scraping-Assistant/
├── MCPfiles/
│   ├── xpath_server.py     # MCPサーバーファイル、XPathセレクターを生成するために使用されます
│   └── Camoufox_template.py # Camoufoxテンプレートファイル、効率的なクローラー戦略を作成するために使用されます
├── cursor-rules/
│   ├── website-analysis.mdc    # ウェブサイト分析ルール
│   ├── scrapy.mdc              # Scrapyフレームワークのベストプラクティス
│   ├── scrapy-step-by-step-process.mdc # ウェブクローラーの作成手順
│   ├── scraper-models.mdc      # さまざまなタイプのウェブクローラーテンプレート
│   └── prerequisites.mdc       # ツールを使用する前に完了する必要がある設定
└── README.md                  # プロジェクト説明ファイル

将来の改善計画

プロキシ統合

• 必要に応じたプロキシサポートを追加します。
• プロキシローテーション戦略を実装します。
• より多くのプロキシプロバイダーをサポートします。
• プロキシ認証を処理します。
• 人気のあるプロキシサービスを統合します。

改善されたXPath生成と検証

• XPathセレクターの検証メカニズムを追加します。
• セレクターを最適化するためのフィードバックループを実装します。
• セレクターを書き換えるための制御フロー管理を行います。
• 問題のあるセレクターを自動的に修正します。
• 動的コンテンツやAJAXロードなどのエッジケースを処理します。

その他の計画機能

• より多くのタイプのウェブクローラー（ニュースウェブサイト、ソーシャルメディアなど）をサポートします。
• より多くの反ロボット回避技術を統合します。
• JSONデータ抽出能力を向上させます。
• より複雑なナビゲーションパターンをサポートします。
• マルチページクローリングのパフォーマンスを最適化します。

参考資料

このプロジェクトはThe Web Scraping Clubの記事に基づいています。

• Claude & Cursor AI
• MCPプロトコル

📄 ライセンス

詳細については、プロジェクトのLICENSEファイルを参照してください。