# ウェブクローリング

AI開発者向けの低コストウェブ検索サービスツール

Search1API MCPサーバーは、Model Context Protocol (MCP)に基づくサーバーで、検索とクローリング機能を提供し、複数の検索サービスとツールをサポートします。

crawl4aiベースのMCPサーバーで、ウェブページのクローリング機能を提供し、Markdown形式でコンテンツを出力し、LLM処理に適しています。

Oxylabs MCPサーバーは、AIアシスタントにウェブページデータのクロールサービスを提供し、動的レンダリング、構造化抽出、および反ブロック機能をサポートしています。

Olostep MCP Serverは、Olostepサービスを統合したMCPサーバーの実装で、ウェブページの内容抽出、検索エンジンの結果取得、ウェブサイトのURL発見などの機能を提供し、複数の国のリクエストルーティングとJavaScriptレンダリングの待機をサポートします。

XFetch MCP Serverは、LLM向けに設計された強化型ウェブコンテンツ取得サービスで、Cloudflareなどのセキュリティ保護を突破し、JavaScriptレンダリングと正確なコンテンツ抽出をサポートし、Markdown変換機能も提供します。

拡張版のMCPサーバーツールで、ウェブコンテンツの取得とCSSセレクター機能を提供し、HTMLをMarkdownに変換し、要素ごとの正確なコンテンツ抽出をサポートします。

Firecrawl MCPは、Zed AIエージェントに提供されるモデルコンテキストサーバー拡張です。APIキーを使用してFirecrawlサービスを設定し、Zedのアシスタントモードに統合することができます。

LSD MCPサーバーはClaude AIとインターネットデータをつなぐ架け橋で、LSD SQL言語を通じてウェブページのデータを効率的に検索して集約します。

MCPプロトコルに基づくウェブクローリングサービスで、AIアシスタントにウェブページ内容の抽出機能を提供し、反クローラーメカニズムを迂回してフォーマットされたテキストを返すことができます。

XPathクエリを実行するためのMCPサーバーで、XML/HTMLコンテンツに対するクエリをサポートし、URLからコンテンツを取得してクエリを実行することもできます。

XPathクエリを実行するためのMCPサーバーで、ローカルのXMLおよびリモートのURLコンテンツのクエリをサポートします。