Search Scrape

🚀 Search-Scrape

Search-Scrape 是一款專為 AI 助手打造的免費網絡搜索與數據抓取 MCP 工具。無需 API 密鑰，不產生費用，無使用限制。

✨ 主要特性

• 🔍 高級搜索：全面支持 SearXNG 參數（搜索引擎、搜索類別、語言、安全搜索、時間範圍）
• 🕷️ 優化抓取：智能提取內容，過濾噪音並移除廣告
• 🔧 原生 MCP 工具：可直接與 VS Code、Cursor 等 AI 助手集成
• 💰 完全免費：無需 API 密鑰或訂閱服務
• 🛡️ 隱私至上：所有處理均在本地進行

📸 截圖

以下是展示 MCP 工具在 Vscode、Cursor、Trae 中運行的截圖：

網頁搜索工具

URL 抓取工具

🚀 快速開始

# 1. 啟動 SearXNG 搜索引擎
docker-compose up searxng -d

# 2. 構建 MCP 服務器
cd mcp-server && cargo build --release

# 3. 添加到你的 AI 助手的 MCP 配置中：
{
  "mcpServers": {
    "search-scrape": {
      "command": "/path/to/mcp-server/target/release/mcp-stdio",
      "env": { "SEARXNG_URL": "http://localhost:8888" }
    }
  }
}

💻 使用示例

search_web - 高級網頁搜索

支持完整的 SearXNG 參數：

• engines：google、bing、duckduckgo 等
• categories：general、news、it、science 等
• language：en、es、fr、de 等
• safesearch：0（關閉）、1（適中）、2（嚴格）
• time_range：day、week、month、year
• pageno：分頁頁碼

{
  "query": "rust programming",
  "engines": "google,bing",
  "categories": "it,general",
  "language": "en",
  "safesearch": 1,
  "time_range": "month"
}

scrape_url - 優化內容提取

智能抓取並進行高級清理：

• ✅ 移除廣告、導航欄和樣板內容
• ✅ 提取乾淨的文章文本和結構化數據
• ✅ 保留標題、列表和重要格式
• ✅ 處理文檔網站（mdBook、GitBook 等）
• ✅ 為難抓取的網站提供備用提取方法

{
  "url": "https://doc.rust-lang.org/book/ch01-00-getting-started.html"
}

🛠️ 開發

# 測試帶參數的搜索
curl -X POST "http://localhost:5000/search" \
  -H "Content-Type: application/json" \
  -d '{"query": "AI", "engines": "google", "language": "en"}'

# 測試優化抓取
curl -X POST "http://localhost:5000/scrape" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com"}'

📁 項目結構

├── mcp-server/           # 原生 Rust MCP 服務器
│   ├── src/
│   │   ├── search.rs     # 支持全參數的 SearXNG 集成  
│   │   ├── scrape.rs     # 優化內容提取
│   │   └── rust_scraper.rs # 高級清理與噪音過濾
│   └── target/release/   # MCP 二進制文件
├── searxng/             # SearXNG 配置
└── docker-compose.yml   # 容器編排