Browser Scraping & Search

🚀 浏览器自动化代理

浏览器自动化代理是一款功能强大的工具，它基于MCP（模型控制程序）构建，集成了网络抓取与LLM智能功能。该代理可进行Google搜索、访问网页，并能从GitHub、Stack Overflow和文档网站等不同类型的网站中智能抓取所需内容。

🚀 快速开始

浏览器自动化代理使用方便，能高效完成网络搜索与内容抓取任务。按照以下步骤操作，即可快速开启使用之旅。

安装

1. 克隆仓库：

git clone https://github.com/yourusername/browser-automation-agent.git
cd browser-automation-agent

2. 安装依赖项：

pip install -r requirements.txt

3. 安装Playwright浏览器：

playwright install

4. 在项目根目录中创建.env文件，并添加你的Mistral AI API密钥：

MISTRAL_API_KEY=your_api_key_here

运行

运行服务端

python main.py

运行客户端

python client.py

示例交互

当服务端和客户端都在运行时：

1. 在提示时输入您的查询。
2. 代理将执行以下操作：
   • 🔍 在Google中搜索相关信息。
   • 🧭 导航到顶部结果。
   • 📊 根据网站类型抓取内容。
   • 📸 保存页面截图和文本内容到文件。
   • 📤 返回处理后信息。

✨ 主要特性

• 🔍 Google搜索集成：可查找并检索任意查询的顶部搜索结果。
• 🕸️ 智能网络抓取：根据不同网站类型定制抓取策略，涵盖GitHub仓库、Stack Overflow问答、文档页面和通用网站。
• 🧠 AI驱动处理：使用Mistral AI理解并处理抓取内容。
• 🥷 简单模式：实施浏览器指纹保护以避免检测。
• 💾 内容保存：自动保存抓取页面的屏幕截图和文本内容。

🔧 技术细节

该项目采用基于MCP的客户端 - 服务器架构：

• 🖥️ 服务端：负责处理浏览器自动化和网络抓取任务。
• 👤 客户端：提供AI接口，使用Mistral AI和LangGraph。
• 📡 通信：客户端与服务端通过标准I/O进行交互。

⚙️ 需求

• 🐍 Python 3.8+
• 🎭 Playwright
• 🧩 MCP（模型控制程序）
• 🔑 Mistral AI API密钥

💻 使用示例

基础用法

本工具提供了多个实用的工具函数，以下是部分函数的使用说明：

get_top_google_url

# 搜索Google并返回给定查询的顶部结果URL
from your_module import get_top_google_url
url = get_top_google_url("your_query")
print(url)

browse_and_scrape

# 访问一个URL并根据网站类型抓取内容
from your_module import browse_and_scrape
content = browse_and_scrape("https://example.com")
print(content)

高级用法

scrape_github

# 专门从GitHub仓库提取README内容和代码块
from your_module import scrape_github
github_content = scrape_github("https://github.com/yourusername/your-repo")
print(github_content)

scrape_stackoverflow

# 提取Stack Overflow页面中的问题、答案、评论和代码块
from your_module import scrape_stackoverflow
stackoverflow_content = scrape_stackoverflow("https://stackoverflow.com/questions/your-question")
print(stackoverflow_content)

📚 详细文档

🛠️ 工具功能

• get_top_google_url：搜索Google并返回给定查询的顶部结果URL。
• browse_and_scrape：访问一个URL并根据网站类型抓取内容。
• scrape_github：专门从GitHub仓库提取README内容和代码块。
• scrape_stackoverflow：提取Stack Overflow页面中的问题、答案、评论和代码块。
• scrape_documentation：优化以提取文档内容和代码示例。
• scrape_generic：提取通用网站的段落文本和代码块。

📁 文件结构

browser-automation-agent/
├── main.py            # MCP服务端实现
├── client.py          # Mistral AI客户端实现
├── requirements.txt   # 项目依赖项
├── .env               # 环境变量（API密钥）
└── README.md          # 项目文档

📥 内容保存

• browser automation：通过PhantomBuster批量处理LinkedIn请求，发送连接邀请。
• network research：从Indeed、Glassdoor和LinkedIn获取公司信息和薪资数据。
• data analysis：分析CSV文件中的联系人列表，识别潜在客户并分类。
• crm integration：将抓取的数据直接导入Salesforce或其他CRM系统。

⚠️ 重要提示

• 确保所有操作遵守目标网站的robots.txt规则和相关法律法规。
• 保持API密钥安全，避免泄露。
• 定期更新工具以确保与最新网站结构兼容。

如果有任何问题或反馈，请随时联系支持团队。