Browser Scraping & Search

🚀 瀏覽器自動化代理

瀏覽器自動化代理是一款功能強大的工具，它基於MCP（模型控制程序）構建，集成了網絡抓取與LLM智能功能。該代理可進行Google搜索、訪問網頁，並能從GitHub、Stack Overflow和文檔網站等不同類型的網站中智能抓取所需內容。

🚀 快速開始

瀏覽器自動化代理使用方便，能高效完成網絡搜索與內容抓取任務。按照以下步驟操作，即可快速開啟使用之旅。

安裝

1. 克隆倉庫：

git clone https://github.com/yourusername/browser-automation-agent.git
cd browser-automation-agent

2. 安裝依賴項：

pip install -r requirements.txt

3. 安裝Playwright瀏覽器：

playwright install

4. 在項目根目錄中創建.env文件，並添加你的Mistral AI API密鑰：

MISTRAL_API_KEY=your_api_key_here

運行

運行服務端

python main.py

運行客戶端

python client.py

示例交互

當服務端和客戶端都在運行時：

1. 在提示時輸入您的查詢。
2. 代理將執行以下操作：
   • 🔍 在Google中搜索相關信息。
   • 🧭 導航到頂部結果。
   • 📊 根據網站類型抓取內容。
   • 📸 保存頁面截圖和文本內容到文件。
   • 📤 返回處理後信息。

✨ 主要特性

• 🔍 Google搜索集成：可查找並檢索任意查詢的頂部搜索結果。
• 🕸️ 智能網絡抓取：根據不同網站類型定製抓取策略，涵蓋GitHub倉庫、Stack Overflow問答、文檔頁面和通用網站。
• 🧠 AI驅動處理：使用Mistral AI理解並處理抓取內容。
• 🥷 簡單模式：實施瀏覽器指紋保護以避免檢測。
• 💾 內容保存：自動保存抓取頁面的屏幕截圖和文本內容。

🔧 技術細節

該項目採用基於MCP的客戶端 - 服務器架構：

• 🖥️ 服務端：負責處理瀏覽器自動化和網絡抓取任務。
• 👤 客戶端：提供AI接口，使用Mistral AI和LangGraph。
• 📡 通信：客戶端與服務端通過標準I/O進行交互。

⚙️ 需求

• 🐍 Python 3.8+
• 🎭 Playwright
• 🧩 MCP（模型控制程序）
• 🔑 Mistral AI API密鑰

💻 使用示例

基礎用法

本工具提供了多個實用的工具函數，以下是部分函數的使用說明：

get_top_google_url

# 搜索Google並返回給定查詢的頂部結果URL
from your_module import get_top_google_url
url = get_top_google_url("your_query")
print(url)

browse_and_scrape

# 訪問一個URL並根據網站類型抓取內容
from your_module import browse_and_scrape
content = browse_and_scrape("https://example.com")
print(content)

高級用法

scrape_github

# 專門從GitHub倉庫提取README內容和代碼塊
from your_module import scrape_github
github_content = scrape_github("https://github.com/yourusername/your-repo")
print(github_content)

scrape_stackoverflow

# 提取Stack Overflow頁面中的問題、答案、評論和代碼塊
from your_module import scrape_stackoverflow
stackoverflow_content = scrape_stackoverflow("https://stackoverflow.com/questions/your-question")
print(stackoverflow_content)

📚 詳細文檔

🛠️ 工具功能

• get_top_google_url：搜索Google並返回給定查詢的頂部結果URL。
• browse_and_scrape：訪問一個URL並根據網站類型抓取內容。
• scrape_github：專門從GitHub倉庫提取README內容和代碼塊。
• scrape_stackoverflow：提取Stack Overflow頁面中的問題、答案、評論和代碼塊。
• scrape_documentation：優化以提取文檔內容和代碼示例。
• scrape_generic：提取通用網站的段落文本和代碼塊。

📁 文件結構

browser-automation-agent/
├── main.py            # MCP服務端實現
├── client.py          # Mistral AI客戶端實現
├── requirements.txt   # 項目依賴項
├── .env               # 環境變量（API密鑰）
└── README.md          # 項目文檔

📥 內容保存

• browser automation：通過PhantomBuster批量處理LinkedIn請求，發送連接邀請。
• network research：從Indeed、Glassdoor和LinkedIn獲取公司信息和薪資數據。
• data analysis：分析CSV文件中的聯繫人列表，識別潛在客戶並分類。
• crm integration：將抓取的數據直接導入Salesforce或其他CRM系統。

⚠️ 重要提示

• 確保所有操作遵守目標網站的robots.txt規則和相關法律法規。
• 保持API密鑰安全，避免洩露。
• 定期更新工具以確保與最新網站結構兼容。

如果有任何問題或反饋，請隨時聯繫支持團隊。