Websearch Tools

🚀 WebSearch - 高度なウェブ検索とコンテンツ抽出ツール

WebSearchは、Pythonで構築された強力なウェブ検索とコンテンツ抽出ツールです。Firecrawl APIを活用して、高度なウェブクローリング、検索、コンテンツ分析機能を提供します。

🚀 クイックスタート

WebSearchは、Pythonで構築された強力なウェブ検索とコンテンツ抽出ツールです。Firecrawl APIを活用して、高度なウェブクローリング、検索、コンテンツ分析機能を提供します。

✨ 主な機能

• スマートなウェブ検索：カスタムパラメータをサポートするスマート検索
• コンテンツ抽出：自然言語の指示に基づいてウェブページから特定の情報を抽出
• ウェブサイトクローリング：クローリングの深さと制限を設定可能
• ウェブスクレイピング：複数の出力形式をサポートするコンテンツ収集
• MCP統合：モデルコンテキストプロトコル（MCP）サーバーとして、シームレスな統合を実現

📦 インストール

📋 前提条件

• Python 3.8以上
• uvパッケージマネージャー
• Firecrawl APIキー
• OpenAI APIキー（オプション、拡張機能に使用）
• Tavily APIキー（オプション）

手順

1. リポジトリをクローンする：

   git clone https://github.com/yourusername/WebSearch.git
   cd WebSearch
   

2. 依存関係をインストールする：

   pip install -r requirements.txt
   

3. 環境変数を設定する：

   • .envファイルを作成する（まだ作成されていない場合）。
   • 以下の内容を追加する：

     OPENAI_API_KEY=your_openai_api_key_here
     FIRECRAWL_API_KEY=your_firecrawl_api_key_here
     

4. プロジェクトを実行する：

   python main.py
   

💻 使用例

基本的な使用法

from websearch import WebSearch

# 検索オブジェクトを初期化する
searcher = WebSearch()

# 検索クエリを実行する
results = searcher.search("Python 教程")

# 結果を処理する
for result in results:
    print(result.url)

高度な使用法

• カスタムクローリングパラメータ：

  # 例：検索結果の数を制限する
  results = searcher.search("机器学习", max_results=10)
  

📚 ドキュメント

📅 機能リスト

1. 複数のウェブ検索戦略をサポート
2. 強力なコンテンツ解析と抽出機能を提供
3. AIによる検索最適化を統合
4. 柔軟な結果フィルタリングとソート機構

🏷️ タグ

• Python
• Web Scraping
• AI
• API
• オープンソースプロジェクト

⚠️ 重要提示

このツールを使用する際には、関連する法律やウェブサイトの利用規約を遵守してください。

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。 MIT License