# ウェブクローラー

WebSearchは、PythonとFirecrawl APIに基づく高度なウェブ検索とコンテンツ抽出ツールで、スマート検索、コンテンツ取得、ウェブサイトクロールなどの機能を提供し、MCPプロトコルの統合もサポートしています。

Tavily MCPはオープンソースプロジェクトで、Model Context Protocol (MCP)標準を通じてAIシステムがTavilyの検索とデータ抽出ツールにシームレスに接続できるようにし、ClaudeなどのAIアシスタントにリアルタイムのウェブ情報アクセス能力を提供します。このプロジェクトは検索、抽出、マッピング、クローリングツールを提供し、複数のクライアント設定をサポートします。

Dafty MCPは独立して開発されたオープンソースプロジェクトで、ウェブクローラーを使ってDaft.ieとやり取りし、アイルランドの賃貸情報の検索と詳細照会機能を提供します。

Node.jsベースの純粋なクローラーネットワーク検索MCPサービスで、Bingのウェブページとニュース検索をサポートし、公式APIを必要とせず、高性能な収集と健全性監視機能を提供します。

PythonとFirecrawl APIをベースにした高度なウェブ検索とコンテンツ抽出ツールで、ウェブページの検索、コンテンツのクローリング、ウェブサイトのクローリングなどの機能を提供し、MCPプロトコルの統合をサポートします。

純粋なクローラー技術に基づくウェブ検索MCPサービスで、Bingのウェブページとニュース検索をサポートし、公式APIを必要とせず、スマートな反検知とURLクリーニング機能を備えています。

DuckDuckGo検索APIサービス。MCPプロトコルを通じて複数の検索機能を提供します。

PodCrawlerMCPはウェブクローラーを通じてポッドキャストコンテンツを発見するMCPサービスで、AIアシスタントがテーマに基づいてポッドキャスト番組と単集を検索するのを支援します。

Crawl4AI MCPサーバーは、Pythonベースのウェブクローラープロジェクトで、Playwrightブラウザ自動化、DuckDuckGo検索エンジン、MCPプロトコルSDKを統合して、インテリジェントなウェブデータ収集を行います。

Bocha AIウェブ検索MCPサーバーは、中国の法令に適合した中国語のインターネットコンテンツの検索サービスを提供し、MarkdownとJSON形式の出力をサポートします。

PythonベースのMCPウェブクローラープロジェクトで、ウェブサイトの内容を抽出し、Markdownファイルとして保存します。一括処理とマルチスレッド設定をサポートしています。

小红书MCPサーバーとCLIツールで、ログイン、投稿、検索、推薦などの自動化機能をサポートし、画像URLの自動ダウンロードと正確なタイトル検証を提供します。

Puppeteerを使用してCimriウェブサイトで価格調査を行うMCPサービスの例

mcp - server - webcrawlは、AIクライアント向けに設計された高度なウェブクローラーデータ検索と検索ツールで、WARC、wgetなどの複数のクローラー形式をサポートし、全文検索、ブール論理クエリ、リソースタイプ/状態フィルタリング機能を提供します。Claude Desktopとシームレスに統合でき、Pythonでインストールでき、ウェブサイトの知識ベースの構築やSEO/パフォーマンス監査などのタスクに適しています。

Firecrawl MCP Serverは、Firecrawl APIをベースにしたウェブクローラーとデータ抽出サービスで、ウェブページの取得、コンテンツ検索、サイトクローリング、構造化データの抽出機能を提供します。

Python 3.13ベースのクライアントプロジェクトで、MCPサービスとGPT - 4モデルを統合し、対話型ツールの呼び出しとネットワーク検索機能を提供します。

Firecrawl MCPサーバーは、Firecrawl APIに基づくウェブクローラーサービスで、ウェブページのクローリング、コンテンツ検索、サイトクローリング、および構造化データの抽出機能を提供し、さまざまな設定オプションと出力形式をサポートします。