Seo Crawler MCP

🚀 SEO Crawler MCP - 網站爬蟲與大語言模型SEO分析器

SEO Crawler MCP 是一款強大的工具，可對網站進行爬取和分析，檢測可能影響網站SEO的錯誤和問題，助力網站提升搜索引擎排名。

爬取並分析您的網站，找出可能影響SEO的錯誤和問題

開發者希望基於MCP協議SDK的經驗，探索如何擴展AI助手的能力。於是決定構建一個爬蟲來檢查網站的“技術SEO”健康狀況，並發現Crawlee是構建MCP爬蟲組件的理想庫。

有趣的是，MCP通常意味著某種服務器連接，但SEO Crawler MCP並非如此。MCP協議的強大超出預期，這是一個封裝在MCP SDK中的自包含應用程序，可在本地處理所有事務：

• 智能請求調度和隊列管理
• 自動重試邏輯和錯誤處理
• 可配置延遲的禮貌爬取
• 適用於大型網站的內存高效流式處理
• Better-SQLite3嵌入式數據庫，存儲每個爬取頁面的HTML、元數據、標頭、鏈接關係和網站結構
• 自定義SQL分析引擎，包含25多個專門查詢，可檢測內容問題、技術SEO問題、安全漏洞和優化機會

Claude（或您選擇的AI助手）可以通過簡單的函數調用編排整個堆棧。爬取過程異步運行，將所有數據存儲在SQLite中，然後Claude可以通過自然語言查詢數據，例如“分析此爬取結果以尋找SEO機會”或“報告內部斷鏈情況”，MCP服務器會將其轉換為複雜的SQL分析。

您還可以直接從終端運行爬取任務，這非常適合大型網站或後臺處理。CLI模式允許您運行爬取任務，獲取輸出目錄，然後通過MCP工具將其交給Claude進行AI分析。

鳴謝

核心爬取架構靈感來自LibreCrawl項目的邏輯和模式。我們在MCP協議中採用了他們經過驗證的爬取方法，並添加了全面的SEO分析功能。

🚀 快速開始

初學者指南

如果您是MCP服務器的新手，建議先閱讀以下內容：

• 如何將MCP服務器添加到Claude桌面版
• Claude桌面版初學者指南

同時，建議先安裝Desktop Commander，它有助於處理爬取輸出文件。詳細設置指南請參考Desktop Commander設置指南。

快速安裝（NPX）

將以下內容添加到Claude桌面版配置文件中：

• Windows：C:\Users\[您的用戶名]\AppData\Roaming\Claude\claude_desktop_config.json
• Mac：~/Library/Application Support/Claude/claude_desktop_config.json

{
  "mcpServers": {
    "seo-crawler-mcp": {
      "command": "npx",
      "args": ["-y", "@houtini/seo-crawler-mcp"],
      "env": {
        "OUTPUT_DIR": "C:\\seo-audits"
      }
    }
  }
}

重啟Claude桌面版後，將提供以下四個工具：

• seo-crawler-mcp:run_seo_audit
• seo-crawler-mcp:analyze_seo
• seo-crawler-mcp:query_seo_data
• seo-crawler-mcp:list_seo_queries

開發安裝

cd C:\MCP\seo-crawler-mcp
npm install
npm run build

然後在配置文件中使用本地路徑：

{
  "mcpServers": {
    "seo-crawler-mcp": {
      "command": "node",
      "args": ["C:\\MCP\\seo-crawler-mcp\\build\\index.js"],
      "env": {
        "OUTPUT_DIR": "C:\\seo-audits",
        "DEBUG": "false"
      }
    }
  }
}

環境變量說明：

• OUTPUT_DIR：爬取結果保存的目錄（必需）
• DEBUG：設置為 "true" 可啟用詳細的調試日誌（可選，默認值："false"）

本地開發的CLI使用方法： 當從本地構建運行CLI（未通過npm安裝）時，直接使用 node：

# 運行爬取任務
node C:\MCP\seo-crawler-mcp\build\cli.js crawl https://example.com --max-pages=20

# 分析結果
node C:\MCP\seo-crawler-mcp\build\cli.js analyze C:\seo-audits\example.com_2026-02-02_abc123

# 列出查詢
node C:\MCP\seo-crawler-mcp\build\cli.js queries --category=critical

✨ 主要特性

• 智能爬取：具備智能請求調度和隊列管理功能，能自動處理重試邏輯和錯誤，以可配置的延遲進行禮貌爬取，還支持內存高效的流式處理，適用於大型網站。
• 全面分析：擁有自定義SQL分析引擎，包含25多個專門查詢，可檢測內容問題、技術SEO問題、安全漏洞和優化機會。
• 數據存儲：使用Better-SQLite3嵌入式數據庫，存儲每個爬取頁面的HTML、元數據、標頭、鏈接關係和網站結構。
• AI集成：可與Claude等AI助手集成，通過自然語言查詢爬取數據，實現智能分析。
• 多模式支持：支持從終端直接運行爬取任務，適合大型網站或後臺處理。

📦 安裝指南

快速安裝（NPX）

將配置信息添加到Claude桌面版配置文件，重啟後即可使用相關工具。

開發安裝

先進入項目目錄，安裝依賴並構建項目，然後在配置文件中使用本地路徑。同時可設置環境變量以滿足不同需求。

💻 使用示例

完整SEO審計

典型工作流程如下：

1. 爬取網站

使用 seo-crawler-mcp 爬取 https://example.com，最大爬取頁面數為 2000

2. 運行分析

分析 C:/seo-audits/example.com_2026-02-01_abc123 目錄下的爬取結果

3. 調查特定問題

顯示該爬取結果中的內部斷鏈情況

Claude會處理後續工作，調用合適的工具，解析結果並以可讀格式呈現。

安全審計

如果您特別關注安全標頭：

1. 列出可用的安全查詢

可以對SEO爬取結果運行哪些安全檢查？

2. 運行安全分析

檢查 C:/seo-audits/example.com_2026-02-01_abc123 爬取結果中的安全問題

3. 深入研究特定問題

顯示所有包含不安全外部鏈接的頁面

📚 詳細文檔

檢測內容

分析引擎包含25項全面的SEO檢查，分為五個類別：

關鍵問題（4項檢查）

• 缺少標題標籤：沒有標題的頁面無法在搜索引擎中獲得排名。
• 內部斷鏈：返回404/5xx響應的鏈接會影響網站的可爬取性。
• 服務器錯誤：5xx響應表示網站存在問題。
• 404錯誤：需要修復或重定向的損壞頁面。

內容質量（7項檢查）

• 重複標題：不同頁面使用相同的標題標籤會使搜索引擎困惑。
• 重複元描述：相同的元描述會降低搜索結果中的點擊率。
• 重複H1標籤：多個頁面使用相同的H1標題會稀釋主題清晰度。
• 缺少元描述：搜索引擎可能會自行生成摘要，無法準確代表頁面內容。
• 缺少H1標籤：H1是頁面主題和結構的主要信號。
• 單個頁面存在多個H1標籤：會稀釋主題焦點並混淆標題層次結構。
• 內容單薄：內容少於300字的頁面價值較低，排名不佳。

技術SEO（5項檢查）

• 重定向鏈和循環：多個重定向會浪費爬取預算並減慢頁面加載速度。
• 孤立頁面：沒有內部鏈接指向的頁面可能無法被搜索引擎發現。
• 規範URL不匹配：表示存在重複內容或索引偏好衝突。
• 仍在使用非HTTPS頁面：存在安全風險、排名懲罰和瀏覽器警告。
• 標題層次結構問題：如H3在H2之前等。

安全（6項檢查）

• 缺少內容安全策略（CSP）標頭：易受XSS攻擊和代碼注入。
• 缺少嚴格傳輸安全（HSTS）標頭：可能遭受協議降級攻擊。
• 缺少X-Frame-Options標頭：易受點擊劫持攻擊。
• 缺少Referrer-Policy標頭：存在隱私和安全洩露風險。
• 不安全的外部鏈接：使用 target="_blank" 但未添加 rel="noopener" 的鏈接存在安全漏洞。
• 協議相對鏈接：使用 // 而不是 https:// 的鏈接可能導致混合內容問題和安全警告。

優化（6項檢查）

• 標題標籤長度問題：標題過短或過長都會影響搜索結果顯示。
• 元描述長度問題：描述過短或過長會降低點擊率。
• 標題與H1相同：錯過針對不同關鍵詞或角度的機會。
• 頁面無出站鏈接：可能顯得垃圾或孤立，鏈接到優質資源可建立信任。
• 頁面外部鏈接過多：可能顯得垃圾並不必要地洩露PageRank。
• 頁面缺少圖片：圖片可提高用戶參與度並提供額外的排名信號。

數據存儲

爬蟲將所有數據存儲在按域名和日期組織的SQLite數據庫中：

C:/seo-audits/example.com_2026-02-01_abc123/
├── crawl-data.db          # SQLite數據庫
│   ├── pages              # 每個爬取的頁面
│   ├── links              # 所有鏈接關係
│   ├── errors             # 爬取錯誤
│   └── crawl_metadata     # 統計信息
├── config.json            # 爬取設置
└── crawl-export.csv       # 可選的CSV導出文件

性能表現

爬取速度

• 中型網站（1500 - 2000頁）：約15分鐘
• 跟蹤300,000多個鏈接關係
• 2000頁的數據庫大小約為15MB

查詢性能

• 簡單查詢：小於10ms
• 複雜查詢：小於100ms
• 連接查詢：小於200ms
• 全面分析：小於600ms

SQLite方法在這裡表現良好，所有數據都保存在本地，無需擔心API速率限制，查詢性能足以滿足SEO分析需求。

侷限性

計劃在3.0版本中添加4項額外檢查：

• 核心網頁指標：需要Playwright獲取真實瀏覽器指標
• Robots.txt驗證：需要解析庫
• 可讀性評分：需要文本分析庫
• 移動渲染問題：需要設備模擬

當前的25項檢查涵蓋了直接影響搜索引擎爬取、索引和排名的技術SEO的最關鍵方面。

🔧 技術細節

構建工具

• TypeScript 5.3
• Crawlee 3.7（HttpCrawler）
• better-sqlite3 12.6
• Cheerio 1.0（HTML解析）
• MCP SDK 1.0

代碼全程使用ES模塊，對輸入進行了適當的Zod驗證，並具備全面的錯誤處理。架構清晰，將爬取、分析、格式化和工具定義分為不同模塊。

部署方式

• 通過Node.js運行本地MCP服務器
• 無需外部依賴
• 可配置輸出目錄
• 支持併發爬取（5個工作線程）

📄 許可證

本項目採用Apache License 2.0許可協議。

版權所有 2026 Richard Baxter

本產品包含由Apify和Crawlee項目開發的軟件。詳情請參閱NOTICE文件。

支持

• GitHub：https://github.com/houtini-ai/seo-crawler-mcp
• 問題反饋：https://github.com/houtini-ai/seo-crawler-mcp/issues
• 作者：Richard Baxter hello@houtini.com

標籤：seo, crawler, audit, technical-seo, mcp, crawlee, sqlite, web-scraping, site-analysis