Search Scrape

🚀 Search-Scrape

100%無料のウェブ検索とスクレイピング用のMCPツールで、AIアシスタントに最適。APIキー不要、コスト不要、制限もありません。

✨ 主な機能

• 🔍 高度な検索機能：SearXNGの全パラメータをサポート（検索エンジン、カテゴリ、言語、セーフサーチ、時間範囲）
• 🕷️ 最適化されたスクレイピング：ノイズフィルタリングと広告除去を行うインテリジェントなコンテンツ抽出
• 🔧 ネイティブMCPツール：VS Code、Cursor、その他のAIアシスタントと直接統合
• 💰 100%無料：APIキーやサブスクリプション不要
• 🛡️ プライバシー重視：すべての処理はローカルで行われます

📸 スクリーンショット

Vscode、Cursor、Traeで動作するMCPツールのスクリーンショットを以下に示します。

ウェブ検索ツール

URLスクレイピングツール

🚀 クイックスタート

# 1. SearXNG検索エンジンを起動する
docker-compose up searxng -d

# 2. MCPサーバをビルドする
cd mcp-server && cargo build --release

# 3. AIアシスタントのMCP設定に追加する
{
  "mcpServers": {
    "search-scrape": {
      "command": "/path/to/mcp-server/target/release/mcp-stdio",
      "env": { "SEARXNG_URL": "http://localhost:8888" }
    }
  }
}

💻 使用例

search_web - 高度なウェブ検索

SearXNGの全パラメータをサポートした強化版検索：

• engines：google、bing、duckduckgoなど
• categories：general、news、it、scienceなど
• language：en、es、fr、deなど
• safesearch：0（オフ）、1（中程度）、2（厳格）
• time_range：day、week、month、year
• pageno：ページネーション用のページ番号

{
  "query": "rust programming",
  "engines": "google,bing",
  "categories": "it,general",
  "language": "en",
  "safesearch": 1,
  "time_range": "month"
}

scrape_url - 最適化されたコンテンツ抽出

高度なクリーニング機能を備えたインテリジェントなスクレイピング：

• ✅ 広告、ナビゲーション、定型文コンテンツを除去
• ✅ クリーンな記事テキストと構造化データを抽出
• ✅ 見出し、リスト、重要なフォーマットを保持
• ✅ ドキュメントサイト（mdBook、GitBookなど）を処理
• ✅ 難しいサイトに対するフォールバック抽出方法

{
  "url": "https://doc.rust-lang.org/book/ch01-00-getting-started.html"
}

🛠️ 開発

# パラメータ付きで検索をテストする
curl -X POST "http://localhost:5000/search" \
  -H "Content-Type: application/json" \
  -d '{"query": "AI", "engines": "google", "language": "en"}'

# 最適化されたスクレイピングをテストする
curl -X POST "http://localhost:5000/scrape" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com"}'

📁 プロジェクト構造

├── mcp-server/           # ネイティブRustのMCPサーバ
│   ├── src/
│   │   ├── search.rs     # 全パラメータをサポートするSearXNG統合
│   │   ├── scrape.rs     # 最適化されたコンテンツ抽出
│   │   └── rust_scraper.rs # 高度なクリーニングとノイズフィルタリング
│   └── target/release/   # MCPバイナリ
├── searxng/             # SearXNG設定
└── docker-compose.yml   # コンテナオーケストレーション