WEB SCRAPING MCP

🚀 網絡爬蟲項目說明

本項目是一個基於MCP協議的網絡爬蟲系統，支持通過Docker容器部署或本地運行，為用戶提供了便捷的網頁數據抓取解決方案。

🚀 快速開始

本項目支持兩種部署方式，你可以根據自己的需求選擇Docker部署或者本地運行。

📦 安裝指南

Docker部署

1. 安裝Docker
   確保你的系統已安裝並運行Docker。如果是Windows或Mac用戶，請參考Docker官網進行安裝。
2. 構建鏡像
   在項目根目錄中，執行以下命令構建Docker鏡像：

   docker build -t your-image-name .
   

3. 運行容器
   使用以下命令啟動Docker容器：

   docker run --env-file .env -p 8002:8002 your-image-name
   

   • --env-file .env：加載環境變量文件。
   • -p 8002:8002：將宿主機的8002端口映射到容器內的8002端口。
4. 訪問服務
   容器啟動後，可以通過http://localhost:8002/sse訪問服務。配置MCP客戶端（如LangChain代理）連接到該地址。

本地運行

1. 安裝Python
   確保安裝了Python 3.9或更高版本。推薦使用Python 3.10及以上。
2. 創建虛擬環境
   在項目目錄中，執行以下命令創建並激活虛擬環境：

   python -m venv venv
   source venv/bin/activate  # Linux/macOS
   # venv\Scripts\activate  # Windows
   

3. 安裝依賴項
   安裝項目所需的Python包：

   pip install -r requirements.txt
   

4. 配置環境變量
   創建一個名為.env的文件，並添加以下內容（根據實際API密鑰填寫）：

   GOOGLE_API_KEY=your_api_key_here
   

5. 運行服務
   執行以下命令啟動服務：

   python your_server_script_name.py
   

🔧 技術細節

環境變量

項目使用的環境變量如下（通常從.env文件加載）：

💻 使用示例

示例代理交互

# 使用代理CLI進行以下操作：

You: scrape_url https://example.com
Agent: 思考中...
[代理調用scrape_url工具]
Agent: [example.com的Markdown內容]

---
You: 從https://en.wikipedia.org/wiki/Web_scraping提取包含“ethical considerations”的文本
Agent: 思考中...
[代理調用extract_text_by_query工具]
Agent: 在頁面上找到X個匹配項。以下是相關段落：
匹配1：
... 文本片段 ...
---
匹配2：
... 文本片段 ...

---
You: 使用smart_extract分析https://blog.google/technology/ai/google-gemini-ai/，獲取Gemini模型的主要要點
Agent: 思考中...
[代理調用smart_extract工具]
Agent: Gemini是Google開發的先進AI模型，具備多語言和跨領域理解能力。它能夠通過互聯網訪問最新的信息，並支持上下文感知對話。

📚 詳細文檔

項目文件

• Dockerfile：用於構建Docker鏡像。
• requirements.txt：項目的Python依賴項。
• .env：環境變量配置文件。

總結

本項目提供了一個基於MCP協議的網絡爬蟲系統，支持通過Docker或本地方式運行。通過簡單的配置和環境變量設置，即可快速部署並使用相關功能。