Seo Crawler MCP

SEOクローラーMCPサーバーは、ウェブサイトのクローリングとSEO分析を行い、ローカルのSQLiteデータベースを使用してウェブサイトのデータを保存および分析し、包括的な技術的なSEOチェックとセキュリティ監査機能を提供します。

開発者ツール研究とデータ #SEOクローラー #ウェブサイト分析 #技術的なSEO #セキュリティ監査 .TypeScript

スコア : 2.5ポイント

ダウンロード数 : 8.7K

更新時間 : 2026-03-13

サイトを開く

SEOクローラーMCPとは？

SEOクローラーMCPは、Model Context Protocolサーバーで、AIアシスタント（Claudeなど）がウェブサイトの技術的なSEOの健全性をクロールして分析できるようにします。従来の外部サービスとは異なり、このツールは完全にローカルで実行され、埋め込み型のSQLiteデータベースを使用してすべてのクロールデータを保存し、25以上の専門的なクエリを通じてコンテンツの問題、技術的なSEOエラー、セキュリティホール、最適化の機会を検出します。

SEOクローラーMCPの使い方は？

Claude Desktopを使用してこのMCPサーバーを設定し、簡単な自然言語コマンドを使用してウェブサイトをクロールし、結果を分析できます。たとえば、Claudeに「https://example.comをクロールしてSEOの問題を分析して」と指示すると、Claudeが対応するツールを呼び出して一連の流れを完了します。また、ターミナルで直接クローラーを実行し、その結果をClaudeに渡して分析することもできます。

適用シーン

このツールは、ウェブサイト管理者、SEO専門家、コンテンツ作成者、開発者に特に適しています。定期的にウェブサイトの健全性をチェックしたり、技術的なSEOの問題を修正したり、セキュリティ監査を行ったり、ウェブサイトのパフォーマンスを最適化したい場合、SEOクローラーMCPは専門的な分析レポートを提供します。

主要機能

スマートなウェブサイトクローリング

Crawleeライブラリを使用して効率的なウェブサイトクローリングを行い、スマートなリクエストスケジューリング、キュー管理、自動リトライ、エラー処理をサポートします。クロールの深さ、最大ページ数、ユーザーエージェントを設定できます。

ローカルSQLiteストレージ

すべてのクロールデータはローカルのSQLiteデータベースに保存され、HTMLコンテンツ、メタデータ、レスポンスヘッダー、リンク関係、ウェブサイト構造が含まれます。外部APIは必要なく、データは完全にプライベートです。

25以上の専門的なSEOクエリ

28の専門的なSQLクエリが組み込まれており、5つのカテゴリー（重要な問題、コンテンツ品質、技術的なSEO、セキュリティ、最適化の機会）をカバーしています。各クエリには詳細な影響分析と修正提案が提供されます。

二重使用モード

MCPモード（AIアシスタントを通じて使用）とCLIモード（ターミナルを通じて使用）をサポートします。ターミナルで大規模なクロールタスクを実行し、その結果をClaudeで分析することができます。

構造化された分析レポート

理解しやすいSEO分析レポートを生成し、問題を優先度とカテゴリーで整理し、影響を受けるURLのリストと具体的な修正提案を提供します。

セキュリティ監査機能

セキュリティヘッダーの欠如、不安全な外部リンク、プロトコル相対リンクなどのセキュリティ問題をチェックし、ウェブサイトのセキュリティを向上させるのに役立ちます。

利点

完全にローカルで実行され、外部APIを必要とせず、データのプライバシーが保障されます。

AIアシスタントとシームレスに統合され、自然言語で操作できます。

大規模なウェブサイト（数千ページ）のクローリングをサポートします。

詳細な修正提案を提供し、問題の検出だけでなく、解決策も提示します。

二重使用モードがあり、さまざまなワークフローに柔軟に対応できます。

成熟したCrawleeライブラリに基づいており、安定して信頼性が高いです。

制限

Node.js環境が必要で、非技術的なユーザーには少し敷居が高いかもしれません。

大規模なクローリングは多くのシステムリソースを消費する可能性があります。

Core Web Vitalsなどのブラウザーパフォーマンス指標が欠けています。

JavaScriptでレンダリングされたコンテンツを検出できません（Playwrightを使用する場合を除く）。

Claude Desktopを手動で設定する必要があります。

分析結果はクロールデータの完全性に依存します。

使い方

インストールと設定

まず、Claude Desktopがインストールされていることを確認してください。次に、Claude Desktopの設定ファイルを編集し、SEOクローラーMCPサーバーの設定を追加します。

Claude Desktopを再起動する

設定ファイルを保存した後、Claude Desktopを再起動して設定を有効にします。再起動後、4つのSEOツールが使用可能になります。

使用を開始する

Claudeのチャットウィンドウで、自然言語コマンドを使用してウェブサイトをクロールし、分析します。Claudeが自動的に対応するツールを呼び出します。

ターミナルでの使用（オプション）

大規模なウェブサイトの場合は、ターミナルで直接クローリングを実行し、その結果のパスをClaudeに渡して分析することができます。

使用例

完全なSEO監査

ウェブサイトの包括的な技術的なSEOチェックを行い、ランキングに影響を与える可能性のあるすべての問題を発見します。

セキュリティ専用チェック

ウェブサイトのセキュリティ設定に焦点を当て、欠けているセキュリティヘッダーと潜在的なホールをチェックします。

コンテンツ品質分析

ウェブサイトのコンテンツ品質の問題（重複するタイトル、欠けている説明、内容が貧弱なページなど）をチェックします。

ターミナルでのクローリング + Claudeでの分析

大規模なウェブサイトの場合は、まずターミナルでクローリングを実行し、その結果をClaudeで分析します。

よくある質問

このツールを使用するためにプログラミング知識が必要ですか？

クロールしたデータはどこに保存されますか？安全ですか？

このツールはJavaScriptでレンダリングされたコンテンツを検出できますか？

大規模なウェブサイトをクロールするとどうなりますか？

このツールはオンラインのSEOツールと何が違いますか？

Claude Desktopを使用するには料金がかかりますか？

🚀 SEO Crawler MCP - 大規模言語モデル向けのウェブサイトクローラーとSEOアナライザー

このツールは、ウェブサイトをクロールし、SEOに影響を与える可能性のあるエラーや問題を分析します。

ウェブサイトをクロールし、SEOに影響を与える可能性のあるエラーや問題を分析する

私はMCPプロトコルSDKを使用した経験を生かし、AIアシスタントの機能をどこまで拡張できるかを調べたいと思いました。そこで、自分のサイトの「技術的SEO」の健全性をチェックするクローラーを構築することにし、Crawleeというライブラリを見つけました。これは、私のMCPのクロールコンポーネントを構築するのに最適なライブラリのようでした。

興味深いのは、MCPは通常、何らかのサーバー接続を示しますが、SEO Crawler MCPではそうではありません。MCPプロトコルは私が想定していた以上に強力で、これはMCP SDKでラップされた自己完結型のアプリケーションで、すべてをローカルで処理します。

スマートなリクエストスケジューリングとキュー管理
自動リトライロジックとエラーハンドリング
設定可能な遅延を持つ礼儀正しいクローリング
大規模サイト用のメモリ効率の良いストリーミング
すべてのクロールされたページのHTML、メタデータ、ヘッダー、リンク関係、およびサイト構造を保存するBetter-SQLite3組み込みデータベース
コンテンツの問題、技術的SEOの問題、セキュリティの脆弱性、および最適化の機会を検出する25以上の特殊なクエリを持つカスタムSQL分析エンジン

Claude（または好みのAIアシスタント）は、簡単な関数呼び出しを通じてこのスタック全体をオーケストレーションできます。クロールは非同期で実行され、すべてがSQLiteに保存され、その後Claudeは自然言語でそのデータをクエリできます。例えば、「このクロールのSEOの機会を分析して」や「内部の壊れたリンクについて報告して」などで、MCPサーバーはそれを洗練されたSQL分析に変換します。

ターミナルから直接クロールを実行することもできます - 大規模サイトやバックグラウンド処理に最適です。CLIモードでは、クロールを実行し、出力ディレクトリを取得し、それをMCPツールを介してClaudeに渡してAIによる分析を行うことができます。

クレジット

コアのクローリングアーキテクチャは、LibreCrawlプロジェクトのロジックとパターンに触発されています。私たちは、彼らの実績のあるクローリング方法論をMCPプロトコル内で使用するように適応させ、包括的なSEO分析機能を追加しました。

🚀 クイックスタート

初心者向け

MCPサーバーに慣れていない場合は、まずこれらを読むことをおすすめします。

また、Desktop Commanderを最初にインストールすることをおすすめします。これはクロール出力ファイルを操作するのに便利です。詳細については、Desktop Commander setup guideを参照してください。

クイックインストール (NPX)

Claude Desktopの設定ファイルに以下を追加します。

Windows: C:\Users\[YourName]\AppData\Roaming\Claude\claude_desktop_config.json
Mac: ~/Library/Application Support/Claude/claude_desktop_config.json

{
  "mcpServers": {
    "seo-crawler-mcp": {
      "command": "npx",
      "args": ["-y", "@houtini/seo-crawler-mcp"],
      "env": {
        "OUTPUT_DIR": "C:\\seo-audits"
      }
    }
  }
}

Claude Desktopを再起動します。4つのツールが利用可能になります。

seo-crawler-mcp:run_seo_audit
seo-crawler-mcp:analyze_seo
seo-crawler-mcp:query_seo_data
seo-crawler-mcp:list_seo_queries

開発用インストール

cd C:\MCP\seo-crawler-mcp
npm install
npm run build

次に、設定でローカルパスを使用します。

{
  "mcpServers": {
    "seo-crawler-mcp": {
      "command": "node",
      "args": ["C:\\MCP\\seo-crawler-mcp\\build\\index.js"],
      "env": {
        "OUTPUT_DIR": "C:\\seo-audits",
        "DEBUG": "false"
      }
    }
  }
}

環境変数:

OUTPUT_DIR: クロール結果が保存されるディレクトリ (必須)
DEBUG: 詳細なデバッグログを有効にするには "true" に設定 (オプション、デフォルト: "false")

ローカル開発用のCLI使用方法: ローカルビルドからCLIを実行する場合（npmを介してインストールされていない場合）、直接 node を使用します。

# クロールを実行
node C:\MCP\seo-crawler-mcp\build\cli.js crawl https://example.com --max-pages=20

# 結果を分析
node C:\MCP\seo-crawler-mcp\build\cli.js analyze C:\seo-audits\example.com_2026-02-02_abc123

# クエリをリストする
node C:\MCP\seo-crawler-mcp\build\cli.js queries --category=critical

✨ 主な機能

スマートなリクエストスケジューリングとキュー管理
自動リトライロジックとエラーハンドリング
設定可能な遅延を持つ礼儀正しいクローリング
大規模サイト用のメモリ効率の良いストリーミング
すべてのクロールされたページのHTML、メタデータ、ヘッダー、リンク関係、およびサイト構造を保存するBetter-SQLite3組み込みデータベース
コンテンツの問題、技術的SEOの問題、セキュリティの脆弱性、および最適化の機会を検出する25以上の特殊なクエリを持つカスタムSQL分析エンジン

📦 インストール

初心者向け

MCPサーバーに慣れていない場合は、まずこれらを読むことをおすすめします。

クイックインストール (NPX)

Claude Desktopの設定ファイルに以下を追加します。

Windows: C:\Users\[YourName]\AppData\Roaming\Claude\claude_desktop_config.json
Mac: ~/Library/Application Support/Claude/claude_desktop_config.json

{
  "mcpServers": {
    "seo-crawler-mcp": {
      "command": "npx",
      "args": ["-y", "@houtini/seo-crawler-mcp"],
      "env": {
        "OUTPUT_DIR": "C:\\seo-audits"
      }
    }
  }
}

Claude Desktopを再起動します。4つのツールが利用可能になります。

seo-crawler-mcp:run_seo_audit
seo-crawler-mcp:analyze_seo
seo-crawler-mcp:query_seo_data
seo-crawler-mcp:list_seo_queries

開発用インストール

cd C:\MCP\seo-crawler-mcp
npm install
npm run build

次に、設定でローカルパスを使用します。

{
  "mcpServers": {
    "seo-crawler-mcp": {
      "command": "node",
      "args": ["C:\\MCP\\seo-crawler-mcp\\build\\index.js"],
      "env": {
        "OUTPUT_DIR": "C:\\seo-audits",
        "DEBUG": "false"
      }
    }
  }
}

環境変数:

OUTPUT_DIR: クロール結果が保存されるディレクトリ (必須)
DEBUG: 詳細なデバッグログを有効にするには "true" に設定 (オプション、デフォルト: "false")

ローカル開発用のCLI使用方法: ローカルビルドからCLIを実行する場合（npmを介してインストールされていない場合）、直接 node を使用します。

# クロールを実行
node C:\MCP\seo-crawler-mcp\build\cli.js crawl https://example.com --max-pages=20

# 結果を分析
node C:\MCP\seo-crawler-mcp\build\cli.js analyze C:\seo-audits\example.com_2026-02-02_abc123

# クエリをリストする
node C:\MCP\seo-crawler-mcp\build\cli.js queries --category=critical

💻 使用例

基本的な使用法

# 基本的なクロール
npx @houtini/seo-crawler-mcp crawl https://example.com

# カスタム設定での大規模クロール
npx @houtini/seo-crawler-mcp crawl https://example.com --max-pages=5000 --depth=5

# Googlebotユーザーエージェントを使用
npx @houtini/seo-crawler-mcp crawl https://example.com --user-agent=googlebot

高度な使用法

# 概要統計を表示
npx @houtini/seo-crawler-mcp analyze C:/seo-audits/example.com_2026-02-01_abc123

# 詳細なJSON出力
npx @houtini/seo-crawler-mcp analyze C:/seo-audits/example.com_2026-02-01_abc123 --format=detailed

📚 詳細ドキュメント

完全なSEO監査

典型的なワークフローは次のようになります。

ウェブサイトをクロールする

Use seo-crawler-mcp to crawl https://example.com with maxPages=2000

分析を実行する

Analyse the crawl at C:/seo-audits/example.com_2026-02-01_abc123

特定の問題を調査する

Show me the broken internal links from that crawl

Claudeが残りの作業を処理します - 適切なツールを呼び出し、結果を解析し、すべてを読みやすい形式で提示します。

セキュリティ監査

セキュリティヘッダーに特に懸念がある場合:

利用可能なセキュリティクエリをリストする

What security checks can you run on an SEO crawl?

セキュリティに焦点を当てた分析を実行する

Check the security issues in crawl C:/seo-audits/example.com_2026-02-01_abc123

特定の問題を詳細に調査する

Show me all pages with unsafe external links

🔧 技術詳細

構築に使用されたもの:

TypeScript 5.3
Crawlee 3.7 (HttpCrawler)
better-sqlite3 12.6
Cheerio 1.0 (HTML解析)
MCP SDK 1.0

コードは全体でESモジュールを使用しており、入力には適切なZod検証が行われ、包括的なエラーハンドリングが実装されています。アーキテクチャはクリーンに保たれており、クローリング、分析、フォーマット、およびツール定義のための別々のモジュールがあります。

デプロイメント:

Node.jsを介したローカルMCPサーバー
外部依存関係なし
出力ディレクトリを設定可能
並列クローリング (5つのワーカー)

📄 ライセンス

Apache License 2.0

この製品には、ApifyとCrawleeプロジェクトによって開発されたソフトウェアが含まれています。詳細については、NOTICEファイルを参照してください。

サポート

GitHub: https://github.com/houtini-ai/seo-crawler-mcp
Issues: https://github.com/houtini-ai/seo-crawler-mcp/issues
Author: Richard Baxter hello@houtini.com

タグ: seo, crawler, audit, technical-seo, mcp, crawlee, sqlite, web-scraping, site-analysis

run_seo_audit

Crawlee HttpCrawlerを使用してウェブサイトをクロールし、包括的なSEOデータを抽出します。クロールIDと出力パスを返します。

パラメータ

url : string*

説明

開始クロールURL（http://またはhttps://を含む必要があります）

パラメータ

maxPages : number*

説明

最大クロールページ数（1 - 10000）、デフォルト：1000

パラメータ