WEB SCRAPING MCP

🚀 ネットワーククローラープロジェクト

本プロジェクトは、MCPプロトコルに基づくネットワーククローラーシステムです。Dockerコンテナでのデプロイまたはローカルでの実行が可能です。以下に、プロジェクトの詳細ドキュメントを掲載します。

🚀 クイックスタート

このネットワーククローラーシステムは、MCPプロトコルを利用しており、Dockerコンテナまたはローカル環境での実行が可能です。以下に、それぞれの方法について説明します。

📦 インストール

Dockerデプロイ

1. Dockerのインストール
   システムにDockerがインストールされ、実行されていることを確認してください。WindowsまたはMacのユーザーは、Docker公式サイトを参照してインストールしてください。

2. イメージの構築
   プロジェクトのルートディレクトリで、以下のコマンドを実行してDockerイメージを構築します。

   docker build -t your-image-name .
   

3. コンテナの実行
   以下のコマンドを使用してDockerコンテナを起動します。

   docker run --env-file .env -p 8002:8002 your-image-name
   

   • --env-file .env：環境変数ファイルを読み込みます。
   • -p 8002:8002：ホストマシンの8002ポートをコンテナ内の8002ポートにマッピングします。

4. サービスのアクセス
   コンテナが起動した後、http://localhost:8002/sseを通じてサービスにアクセスできます。MCPクライアント（例：LangChainエージェント）をこのアドレスに接続するように設定してください。

ローカルでの実行

1. Pythonのインストール
   Python 3.9以上がインストールされていることを確認してください。Python 3.10以上の使用を推奨します。

2. 仮想環境の作成
   プロジェクトディレクトリで、以下のコマンドを実行して仮想環境を作成し、アクティブ化します。

   python -m venv venv
   source venv/bin/activate  # Linux/macOS
   # venv\Scripts\activate  # Windows
   

3. 依存関係のインストール
   プロジェクトに必要なPythonパッケージをインストールします。

   pip install -r requirements.txt
   

4. 環境変数の設定
   .envという名前のファイルを作成し、以下の内容を追加してください（実際のAPIキーに合わせて入力）。

   GOOGLE_API_KEY=your_api_key_here
   

5. サービスの実行
   以下のコマンドを実行してサービスを起動します。

   python your_server_script_name.py
   

🔧 環境変数

プロジェクトで使用される環境変数は以下の通りです（通常は.envファイルから読み込まれます）。

💻 使用例

基本的な使用法

# エージェントCLIを使用して以下の操作を行います。

You: scrape_url https://example.com
Agent: 思考中...
[エージェントがscrape_urlツールを呼び出す]
Agent: [example.comのMarkdown内容]

---
You: 从https://en.wikipedia.org/wiki/Web_scraping提取包含“ethical considerations”的文本
Agent: 思考中...
[エージェントがextract_text_by_queryツールを呼び出す]
Agent: ページ上でX個の一致項目を見つけました。以下は関連する段落です。
一致1：
... テキスト断片 ...
---
一致2：
... テキスト断片 ...

---
You: 使用smart_extract分析https://blog.google/technology/ai/google-gemini-ai/，获取Gemini模型的主要要点
Agent: 思考中...
[エージェントがsmart_extractツールを呼び出す]
Agent: GeminiはGoogleが開発した高度なAIモデルで、多言語およびクロスドメインの理解能力を備えています。インターネットを通じて最新の情報にアクセスでき、コンテキストを考慮した対話をサポートします。

📚 ドキュメント

プロジェクトファイル

• Dockerfile：Dockerイメージを構築するために使用されます。
• requirements.txt：プロジェクトのPython依存関係です。
• .env：環境変数の設定ファイルです。

まとめ

本プロジェクトは、MCPプロトコルに基づくネットワーククローラーシステムを提供しています。Dockerまたはローカル環境での実行が可能で、簡単な設定と環境変数の設定を行うことで、すぐにデプロイして関連機能を使用することができます。