AI Cursor Scraping Assistant

🚀 AI-Cursor-Scraping-Assistant

AI-Cursor-Scraping-Assistant是一款強大的工具，它藉助Cursor AI和MCP（模型上下文協議），能輕鬆為各類網站生成網絡爬蟲。該項目可助力您快速分析網站，並以最小的工作量生成合適的Scrapy框架或Camoufox模板，極大提升網絡數據採集的效率與智能化水平。

🚀 快速開始

AI-Cursor-Scraping-Assistant結合了人工智能與網絡爬蟲技術，主要由Cursor AI和MCP協議兩部分構成。Cursor AI負責分析和處理網頁內容，MCP協議則用於生成高效的爬蟲策略。

✨ 主要特性

• 智能分析：Cursor AI可精準分析和處理網頁內容。
• 高效策略：MCP協議能生成高效的爬蟲策略。
• 多模板支持：支持Scrapy框架和Camoufox模板，滿足不同需求。

📦 安裝指南

在使用AI-Cursor-Scraping-Assistant之前，請確保您的環境滿足以下要求：

1. 安裝Python 3.8或更高版本。
2. 確保安裝了必要的依賴項，包括：
   • Scrapy框架：用於網絡爬蟲開發。
   • Camoufox模板：用於生成高效的爬蟲策略。

請按照以下步驟進行項目安裝：

# 克隆倉庫
git clone https://github.com/your-username/AI-Cursor-Scraping-Assistant.git

# 進入項目目錄
cd AI-Cursor-Scraping-Assistant

# 安裝依賴項
pip install scrapy camoufox

💻 使用示例

基礎用法

以下是使用該工具的基本步驟：

1. 完成項目安裝。
2. 進行MCP服務器配置和網絡爬蟲模板設置。
3. 依據詳細規則說明創建和運行網絡爬蟲。

高級用法

若要實現更復雜的功能，可參考未來改進計劃中的功能，如代理集成、改進的XPath生成和驗證等。

📚 詳細文檔

MCP服務器配置

1. 打開MCPfiles/xpath_server.py文件。
2. 根據註釋更新環境變量：

import os
os.environ['CAMOUFOX_FILE_PATH'] = '路徑/到/Camoufox_template.py'

網絡爬蟲模板

• Scrapy框架：用於基本的網絡爬蟲開發。
• Camoufox模板：用於生成高效的爬蟲策略。

詳細規則說明

網站分析規則

website-analysis.mdc文件包含如何分析和處理網站內容的規則，包括以下步驟：

1. 分析網頁結構。
2. 提取所需數據。
3. 處理提取的數據。

Scrapy框架最佳實踐

scrapy.mdc文件提供了使用Scrapy框架時的最佳實踐，包括：

• 確保爬蟲代碼簡潔易懂。
• 使用中間件和擴展來增強功能。
• 定期更新爬蟲策略以適應網站變化。

創建網絡爬蟲的分步指南

scepy-step-by-step-process.mdc文件提供了創建網絡爬蟲的詳細步驟，包括：

1. 確定爬取目標。
2. 設計爬蟲邏輯。
3. 實現和測試爬蟲。

網絡爬蟲模板

scraper-models.mdc文件提供了不同類型的網絡爬蟲模板，包括：

• 電子商務網站：用於抓取產品信息。
• 新聞網站：用於抓取新聞數據。

先決條件

prerequisites.mdc文件列出了在使用工具之前需要完成的設置，包括：

1. 安裝必要的依賴項。
2. 配置環境變量。

🔧 技術細節

項目結構

AI-Cursor-Scraping-Assistant/
├── MCPfiles/
│   ├── xpath_server.py     # MCP服務器文件，用於生成XPath選擇器
│   └── Camoufox_template.py # Camoufox模板文件，用於創建高效的爬蟲策略
├── cursor-rules/
│   ├── website-analysis.mdc    # 網站分析規則
│   ├── scrapy.mdc              # Scrapy框架最佳實踐
│   ├── scrapy-step-by-step-process.mdc # 創建網絡爬蟲的分步指南
│   ├── scraper-models.mdc      # 不同類型的網絡爬蟲模板
│   └── prerequisites.mdc       # 使用工具前需要完成的設置
└── README.md                  # 項目說明文件

未來改進計劃

代理集成

• 添加按需代理支持。
• 實現代理輪換策略。
• 支持更多代理提供商。
• 處理代理身份驗證。
• 集成流行代理服務。

改進的XPath生成和驗證

• 添加 XPath 選擇器的驗證機制。
• 實現反饋循環以優化選擇器。
• 控制流管理以重寫選擇器。
• 自動修復有問題的選擇器。
• 處理動態內容和AJAX加載等邊緣情況。

其他計劃功能

• 支持更多類型的網絡爬蟲（如新聞網站、社交媒體等）。
• 集成更多反機器人繞過技術。
• 提升JSON數據提取能力。
• 支持更復雜的導航模式。
• 優化多頁面抓取性能。

📄 許可證

請查看項目的LICENSE文件以獲取詳細信息。

參考資料

該項目基於The Web Scraping Club的文章：

• Claude & Cursor AI
• MCP協議