Browser Scraping & Search

🚀 🤖 ブラウザ自動化エージェント

このツールは強力なブラウザ自動化ツールで、MCP（モデル制御プログラム）を使用して構築され、ウェブスクレイピングとLLMの機能を統合しています。このエージェントはGoogleを検索し、ウェブページにアクセスし、GitHub、Stack Overflow、ドキュメントサイトなどのさまざまなサイトから内容をスマートに取得することができます。

🚀 クイックスタート

このブラウザ自動化エージェントは、MCPをベースにしたクライアント - サーバーアーキテクチャを使用しており、ウェブスクレイピングとAIによる内容の処理が可能です。以下に、セットアップと使用方法を説明します。

✨ 主な機能

• 🔍 Google検索統合：任意のクエリに対する上位の検索結果を検索して取得します。
• 🕸️ スマートなウェブスクレイピング：サイトの種類に応じて最適化されたスクレイピング戦略を使用します。
  • 📂 GitHubリポジトリ
  • 💬 Stack Overflowの質問と回答
  • 📚 ドキュメントページ
  • 🌐 一般的なウェブサイト
• 🧠 AI駆動の処理：Mistral AIを使用して、取得した内容を理解して処理します。
• 🥷 シンプルモード：ブラウザのフィンガープリント保護を実装し、検出を回避します。
• 💾 内容の保存：取得したページのスクリーンショットとテキスト内容を自動的に保存します。

📦 インストール

1. リポジトリをクローンします。

git clone https://github.com/yourusername/browser-automation-agent.git
cd browser-automation-agent

2. 依存関係をインストールします。

pip install -r requirements.txt

3. Playwrightのブラウザをインストールします。

playwright install

4. プロジェクトのルートディレクトリに.envファイルを作成し、Mistral AIのAPIキーを追加します。

MISTRAL_API_KEY=your_api_key_here

💻 使用例

基本的な使用法

サーバーを起動する

python main.py

クライアントを起動する

python client.py

サンプルの対話

サーバーとクライアントが両方とも起動しているとき：

1. プロンプトが表示されたら、クエリを入力します。
2. エージェントは以下の操作を実行します。
   • 🔍 Googleで関連情報を検索します。
   • 🧭 上位の結果に移動します。
   • 📊 サイトの種類に応じて内容を取得します。
   • 📸 ページのスクリーンショットとテキスト内容をファイルに保存します。
   • 📤 処理された情報を返します。

高度な使用法

ツールの機能

• get_top_google_url：🔍 Googleを検索し、指定されたクエリの上位の結果のURLを返します。
• browse_and_scrape：🌐 URLにアクセスし、サイトの種類に応じて内容を取得します。
• scrape_github：📂 GitHubリポジトリからREADME内容とコードブロックを抽出します。
• scrape_stackoverflow：💬 Stack Overflowページから質問、回答、コメント、コードブロックを抽出します。
• scrape_documentation：📚 ドキュメント内容とコード例を抽出するように最適化されています。
• scrape_generic：🌐 一般的なウェブサイトから段落テキストとコードブロックを抽出します。

📚 ドキュメント

ファイル構造

browser-automation-agent/
├── main.py            # MCPサーバーの実装
├── client.py          # Mistral AIクライアントの実装
├── requirements.txt   # プロジェクトの依存関係
├── .env               # 環境変数（APIキー）
└── README.md          # プロジェクトのドキュメント

内容保存

• browser automation：PhantomBusterを使用してLinkedInのリクエストを一括処理し、接続招待を送信します。
• network research：Indeed、Glassdoor、LinkedInから会社情報と給与データを取得します。
• data analysis：CSVファイル内の連絡先リストを分析し、潜在的な顧客を識別して分類します。
• crm integration：取得したデータを直接Salesforceや他のCRMシステムにインポートします。

注意事項

⚠️ 重要提示

すべての操作が対象ウェブサイトのrobots.txtルールと関連する法律を遵守していることを確認してください。APIキーを安全に保管し、漏洩を防いでください。ツールを定期的に更新して、最新のウェブサイト構造との互換性を維持してください。

💡 使用建议

何か問題やフィードバックがあれば、サポートチームにお問い合わせください。