Websearch Tools

🚀 WebSearch - 高級網絡搜索與內容提取工具

WebSearch 是一款強大的網絡搜索和內容提取工具，採用 Python 構建，藉助 Firecrawl API 實現高級網絡抓取、搜索及內容分析功能，能有效滿足用戶在網絡信息獲取方面的需求。

🚀 快速開始

WebSearch 是一個基於 Python 開發的網絡搜索與內容提取工具。它藉助 Firecrawl API 實現高級網絡抓取、搜索和內容分析功能。以下是使用該工具的基本步驟：

1. 克隆倉庫：

   git clone https://github.com/yourusername/WebSearch.git
   cd WebSearch
   

2. 安裝依賴項：

   pip install -r requirements.txt
   

3. 配置環境變量：

   • 創建一個 .env 文件（如果尚未創建）。
   • 添加以下內容：

     OPENAI_API_KEY=your_openai_api_key_here
     FIRECRAWL_API_KEY=your_firecrawl_api_key_here
     

4. 運行項目：

   python main.py
   

✨ 主要特性

• 智能網絡搜索：支持自定義參數的智能搜索，用戶可根據自身需求靈活調整搜索條件。
• 內容提取：通過自然語言提示從網頁中提取特定信息，方便快捷地獲取所需內容。
• 網站爬取：可配置深度和限制的網站爬取，精準控制爬取範圍和程度。
• 網絡抓取：支持多種輸出格式的內容抓取，滿足不同場景下的使用需求。
• MCP 集成：作為模型上下文協議（MCP）服務器，實現無縫集成，增強工具的擴展性。

📦 安裝指南

先決條件

• Python 3.8 或更高版本
• uv 包管理器
• Firecrawl API 密鑰
• OpenAI API 密鑰（可選，用於增強功能）
• Tavily API 密鑰（可選）

安裝步驟

1. 克隆倉庫：

   git clone https://github.com/yourusername/WebSearch.git
   cd WebSearch
   

2. 安裝依賴項：

   pip install -r requirements.txt
   

3. 配置環境變量：

   • 創建一個 .env 文件（如果尚未創建）。
   • 添加以下內容：

     OPENAI_API_KEY=your_openai_api_key_here
     FIRECRAWL_API_KEY=your_firecrawl_api_key_here
     

4. 運行項目：

   python main.py
   

💻 使用示例

基礎用法

from websearch import WebSearch

# 初始化搜索對象
searcher = WebSearch()

# 執行搜索查詢
results = searcher.search("Python 教程")

# 處理結果
for result in results:
    print(result.url)

高級用法

• 自定義爬取參數：

  # 示例：限制搜索結果數量
  results = searcher.search("機器學習", max_results=10)
  

📚 詳細文檔

功能列表

1. 支持多種網絡搜索策略，為用戶提供多樣化的搜索方式。
2. 提供強大的內容解析和提取功能，精準提取所需信息。
3. 集成 AI 加速的搜索優化，提升搜索效率和準確性。
4. 具備靈活的結果過濾與排序機制，方便用戶篩選和查看結果。

注意事項

⚠️ 重要提示

使用本工具時，請遵守相關法律法規和網站的使用條款。

📄 許可證

本項目採用 MIT 許可證。

🏷️ 標籤

• Python
• Web Scraping
• AI
• API
• 開源項目