MCPサーバーウェブクロール：多形式対応の高度なMCPツール、Claudeと統合でAI開発を支援

MCP Server Webcrawl

mcp - server - webcrawlは、AIクライアント向けに設計された高度なウェブクローラーデータ検索と検索ツールで、WARC、wgetなどの複数のクローラー形式をサポートし、全文検索、ブール論理クエリ、リソースタイプ/状態フィルタリング機能を提供します。Claude Desktopとシームレスに統合でき、Pythonでインストールでき、ウェブサイトの知識ベースの構築やSEO/パフォーマンス監査などのタスクに適しています。

検索ツール研究とデータ #ウェブクローラー #全文検索 #AIツール #データ分析

スコア : 2.5ポイント

ダウンロード数 : 8.1K

更新時間 : 2025-07-24

サイトを開く

MCPサーバーとは？

MCPサーバーは、ウェブクローラーデータの分析と検索に特化したインテリジェントシステムです。ユーザーが高度な検索機能を使って、さまざまなクローラーツールから取得したウェブページの内容を検索、フィルタリング、分析するのを支援します。

MCPサーバーの使い方は？

MCPサーバーはコマンドラインでインストールして実行でき、複数のウェブクローラーツールからのデータ入力をサポートします。ユーザーは簡単なキーワードや複雑なブール論理クエリを使って特定の情報を検索できます。

適用シーン

SEO監査、ウェブサイトのパフォーマンス分析、404エラー検出などのシーンに適しています。ウェブページの内容を詳細に分析する必要があるユーザー、たとえばウェブサイト管理者、開発者、データアナリストに最適です。

主要機能

複数クローラー互換

WARC、wget、InterroBotなど、複数のウェブクローラーツールからのデータ入力をサポートし、ユーザーが異なるソースからのデータを統合するのを容易にします。

高度な検索機能

ブール論理検索、フィールド検索、ワイルドカードマッチなどの機能を提供し、ユーザーが必要な情報を正確に見つけるのを支援します。

内容分析

Markdown変換、正規表現抽出、XPathセレクターなどの機能をサポートし、ウェブページの内容を深く分析するのを容易にします。

可视化インターフェイス

直感的なユーザーインターフェイスを提供し、非技術者でも高度な検索機能を簡単に使用できます。

利点

複数のウェブクローラーツールをサポートし、データ統合を容易にする

強力な検索機能を提供し、複雑なクエリのニーズを満たす

インストールと使用が簡単で、さまざまな技術レベルのユーザーに適している

制限

すべての機能を十分に活用するには一定の技術的背景が必要です

非常に大きなデータセットに対しては、パフォーマンスが影響を受ける可能性があります

一部の高度な機能には追加の設定が必要な場合があります

使い方

MCPサーバーのインストール

コマンドラインでpipを使ってMCPサーバーをインストールします：pip install mcp - server - webcrawl

MCPサーバーの起動

インストールが完了したら、MCPサーバーを起動してデータの処理を開始します。

クローラーデータのインポート

クローラーデータ（たとえばWARCファイル）をMCPサーバーにインポートします。

検索の実行

キーワード、ブール論理、またはフィールド検索を使って必要な情報を探します。

使用例

SEO監査

MCPサーバーを使ってウェブサイトのSEO状況を分析し、潜在的な問題を見つけて改善提案を行います。

404エラー検出

ウェブサイト上の404エラーリンクを検出し、その分布状況を分析します。

パフォーマンス分析

ウェブサイトの速度とパフォーマンスを分析し、読み込み時間に影響を与える要因を特定します。

よくある質問

MCPサーバーはどのようなクローラー形式をサポートしていますか？

MCPサーバーをどのようにインストールしますか？

MCPサーバーにはどのような環境が必要ですか？

MCPサーバーは大規模なデータセットを処理できますか？

🚀 mcp-server-webcrawl

mcp-server-webcrawl は、ウェブクローラーのデータを高度に検索・取得するためのサーバーです。このサーバーを使えば、AIクライアントがあなたの指示に従って、または自律的にウェブコンテンツをフィルタリングし、分析することができます。サーバーには、ブール検索をサポートする全文検索インターフェイスが備わっており、リソースをタイプやHTTPステータスなどでフィルタリングすることもできます。

Website | GitHub | Docs | PyPi

mcp-server-webcrawl は、様々なウェブクローラーと互換性があり、以下のようなクローラーやフォーマットに対応しています。

クローラー/フォーマット	説明	プラットフォーム	セットアップガイド
WARC	標準的なウェブアーカイブフォーマット	クライアントによって異なります	セットアップガイド
wget	CLIによるウェブサイトミラーリングツール	macOS/Linux	セットアップガイド
InterroBot	GUIによるクローラーとアナライザー	macOS/Windows	セットアップガイド
Katana	CLIによるセキュリティ指向のクローラー	macOS/Windows/Linux	セットアップガイド
SiteOne	GUIによるクローラーとアナライザー	macOS/Windows/Linux	セットアップガイド

mcp-server-webcrawl は無料でオープンソースであり、Claude DesktopとPython (>=3.10) が必要です。コマンドラインで、pip installを使ってインストールできます。

pip install mcp-server-webcrawl

MCPサーバーの詳細なセットアップ手順については、セットアップガイドを参照してください。

✨ 主な機能

Claude Desktop対応
複数のクローラーと互換性がある
タイプ、ステータスなどでフィルタリング可能
ブール検索をサポート
Markdownとスニペットをサポート
独自のウェブサイトの知識ベースを構築可能

📦 インストール

mcp-server-webcrawl はコマンドラインで、pip installを使ってインストールできます。

pip install mcp-server-webcrawl

MCPサーバーの詳細なセットアップ手順については、セットアップガイドを参照してください。

💻 使用例

基本的な使用法

pip install mcp-server-webcrawl

高度な使用法

mcp-server-webcrawl は、ウェブクロールデータを自由に検索するためのツールキットを提供します。また、ルーチン (プロンプト) を実行することもできます。以下は、いくつかのプロンプトの例です。

プロンプト	ダウンロード	カテゴリ	説明
🔍 SEO Audit	`auditseo.md`	audit	技術的なSEO (検索エンジン最適化) 分析。基本的な内容をカバーし、さらに詳細な分析も可能です。
🔗 404 Audit	`audit404.md`	audit	壊れたリンクの検出とパターン分析。問題を見つけるだけでなく、修正案も提案します。
⚡ Performance Audit	`auditperf.md`	audit	ウェブサイトの速度と最適化分析。
📁 File Audit	`auditfiles.md`	audit	ファイルの組織化とアセット分析。ウェブサイトの構成を明らかにします。
🌐 Gopher Interface	`gopher.md`	interface	昔のGopherクライアントにインスパイアされた古風な検索インターフェイス。
⚙️ Search Test	`testsearch.md`	self-test	検索クエリパーサーとその後のFTS5変換におけるブール論理の不一致をチェックするための一連のテスト。

📚 ドキュメント

ブール検索構文

クエリエンジンは、フィールド固有 (field: value) の検索と複雑なブール式をサポートしています。全文検索は、URL、コンテンツ、ヘッダーフィールドの組み合わせでサポートされています。

クエリ例	説明
privacy	全文検索で単一のキーワードを一致させます
"privacy policy"	全文検索で正確なフレーズを一致させます
boundar*	全文検索で boundar で始まる結果をワイルドカードで一致させます (boundary, boundaries)
id: 12345	idフィールドで特定のリソースをIDで一致させます
url: example.com/somedir	urlフィールドでURLにexample.com/somedirを含む結果を一致させます
type: html	typeフィールドでHTMLページのみを一致させます
status: 200	statusフィールドで特定のHTTPステータスコード (200に等しい) を一致させます
status: >=400	statusフィールドで特定のHTTPステータスコード (400以上) を一致させます
content: h1	contentフィールドでコンテンツ (HTTPレスポンスボディ、多くの場合HTMLですが必ずしもそうではありません) を一致させます
headers: text/xml	headersフィールドでHTTPレスポンスヘッダーを一致させます
privacy AND policy	全文検索で両方を一致させます
privacy OR policy	全文検索でどちらかを一致させます
policy NOT privacy	全文検索でprivacyを含まないポリシーを一致させます
(login OR signin) AND form	全文検索で全文のloginまたはsigninとformを一致させます
type: html AND status: 200	全文検索でHTTP成功のHTMLページのみを一致させます

フィールド検索定義

フィールド検索は、検索の精度を高め、検索インデックスのどの列をフィルタリングするかを指定できます。コンテンツ全体を検索するのではなく、URL、ヘッダー、またはコンテンツボディなどの特定の属性にクエリを制限できます。このアプローチは、クロールデータ内の特定の属性やパターンを探す際の効率を向上させます。

フィールド	説明
id	データベースID
url	リソースのURL
type	タイプの列挙リスト (タイプテーブルを参照)
size	ファイルサイズ (バイト)
status	HTTPレスポンスコード
headers	HTTPレスポンスヘッダー
content	HTTPボディ—HTML、CSS、JSなど

フィールドコンテンツ

一部のフィールドは、結果とともに独立して要求できますが、コアフィールドは常に含まれます。ヘッダーとコンテンツの使用は、トークンをすぐに消費する可能性があります。適切に使用するか、extrasを使ってより多くの結果をコンテキストウィンドウに収めることができます。フィールドは、クエリ内で行われるフィールド検索とは独立したトップレベルの引数です。

フィールド	説明
id	常に利用可能
url	常に利用可能
type	常に利用可能
status	常に利用可能
created	要求時に提供
modified	要求時に提供
size	要求時に提供
headers	要求時に提供
content	要求時に提供

コンテンツタイプ

クロールには、HTMLページ以外のリソースタイプも含まれます。type: フィールド検索を使うと、広いコンテンツタイプグループでフィルタリングでき、複雑な拡張子クエリなしで画像をフィルタリングするのに特に便利です。たとえば、type: html NOT content: login を検索すると、"login" を含まないページを見つけることができます。また、type: img を使うと、画像リソースを分析できます。以下の表に、検索システムでサポートされているすべてのコンテンツタイプを示します。

タイプ	説明
html	ウェブページ
iframe	iframe
img	ウェブ画像
audio	ウェブオーディオファイル
video	ウェブビデオファイル
font	ウェブフォントファイル
style	CSSスタイルシート
script	JavaScriptファイル
rss	RSSシンジケーションフィード
text	プレーンテキストコンテンツ
pdf	PDFファイル
doc	MS Wordドキュメント
other	分類されていない

拡張機能

extras パラメータは、追加の処理オプションを提供し、HTTPデータ (Markdown、スニペット、正規表現、XPath) を変換したり、LLMを外部データ (サムネイル) に接続したりします。これらのオプションは、必要に応じて組み合わせて、目的の結果形式を実現できます。

拡張機能	説明
thumbnails	AIモデルが表示および分析できるBase64エンコードされた画像を生成します。画像の説明、コンテンツ分析、および視覚的理解を可能にしながら、トークン出力を最小限に抑えます。クエリで `type: img` を使って画像をフィルタリングできます。SVGはサポートされていません。
markdown	HTMLコンテンツフィールドを簡潔なMarkdownとして提供し、トークンの使用量を削減し、LLMの読みやすさを向上させます。クエリで `type: html` を使ってHTMLをフィルタリングできます。
regex	クロールされたファイル (HTML、CSS、JavaScriptなど) から正規表現の一致を抽出します。HTMLに対してはXPathほど正確ではありませんが、任意のテキストファイルをデータソースとしてサポートします。`extrasRegex` 引数を使って、1つ以上の正規表現パターンを要求できます。
snippets	全文クエリをコンテンツ内のコンテキストキーワードの使用法と一致させます。コンテンツフィールド (またはMarkdown拡張機能) を要求せずに使用すると、完全なページコンテンツをダウンロードせずに検索を絞り込む効率的な手段を提供できます。また、1999年のGoogle検索のように、古いスタイルのヒット強調結果をリストとしてレンダリングするのにも適しています。HTML、CSS、JS、または任意のテキストベースのクロールされたファイルで動作します。
xpath	XPathセレクターデータを抽出し、HTMLコンテンツのスクレイピングに使用します。XPathのtext()セレクターを使ってテキストのみを取得し、要素セレクターはouterHTMLを返します。`type: html` のみサポートされ、他のタイプは無視されます。`extrasXpath` 引数を使って、1つ以上のXPathセレクター (//h1、count(//h1) など) を要求できます。

拡張機能は、トークン効率の高いHTTPコンテンツレスポンスを生成する手段を提供します。Markdownは、ソースHTMLの約1/3のバイト数を生成し、スニペットは通常、結果ごとに約500バイトであり、XPathはあなたが選択する限り、特定または広範囲に設定できます。要求をより集中的にするほど、LLMセッションに収めることができる結果が増えます。

もちろん、これらの作業はLLMが自動的に処理します。もしLLMが "content" フィールド (完全なHTML) に依存し始めたことに気づいたら、拡張機能を使ってトークンを節約するようにチャットでアドバイスするだけで済みます。