Bsmi021 MCP Server Webscan

🚀 MCP 網頁掃描服務器

MCP 網頁掃描服務器是一個專注於網頁內容抓取、分析和信息提取的模型上下文協議（MCP）服務器。它提供了一系列強大工具，能高效獲取、分析和提取網頁中的各類信息。

🚀 快速開始

MCP 網頁掃描服務器運行在 stdio 傳輸協議上，與 Claire 桌面等 MCP 客戶端兼容。以下為你介紹啟動服務器的方法：

npm start

✨ 主要特性

• 頁面抓取：將網頁轉換為 Markdown 格式，便於進行分析
• 鏈接提取：從網頁中提取並分析所有鏈接
• 網站爬取：遞歸爬取網站內容以發現更多信息
• 鏈接檢查：識別網頁中的死鏈
• 模式匹配：查找與特定模式匹配的 URL
• 站點地圖生成：為網站生成 XML 站點地圖

📦 安裝指南

# 克隆倉庫
git clone <repository-url>
cd mcp-server-webscan

# 安裝依賴
npm install

# 構建項目
npm run build

💻 使用示例

基礎用法

可用工具

1. fetch_page

   • 功能：抓取網頁並將其轉換為 Markdown 格式
   • 參數：
     • url（必需）：要抓取的頁面 URL
     • selector（可選）：用於指定內容目標的 CSS 選擇器

2. extract_links

   • 功能：從網頁中提取所有鏈接及其文本
   • 參數：
     • url（必需）：要分析的頁面 URL
     • baseUrl（可選）：用於過濾鏈接的基礎 URL

3. crawl_site

   • 功能：遞歸爬取網站內容，最多爬取指定深度
   • 參數：
     • url（必需）：爬取的起始 URL
     • maxDepth（可選，默認值為 2）：最大爬取深度

4. check_links

   • 功能：檢查頁面中的所有鏈接是否有效
   • 參數：
     • url（必需）：要檢查鏈接的頁面 URL

5. find_patterns

   • 功能：查找與特定模式匹配的 URL
   • 參數：
     • url（必需）：要搜索的 URL
     • pattern（必需）：用於匹配 URL 的正則表達式

6. generate_sitemap

   • 功能：生成簡單的 XML 站點地圖
   • 參數：
     • url（必需）：站點地圖的基礎 URL
     • maxUrls（可選，默認值為 100）：站點地圖中包含的最大鏈接數

高級用法

示例使用方法（以 Claire 桌面為例）

1. 在 Claire 桌面設置中配置服務器：

{
  "mcpServers": {
    "webscan": {
      "command": "node",
      "args": ["path/to/mcp-server-webscan/dist/index.js"],
      "env": {
        "NODE_ENV": "development"
      }
    }
  }
}

2. 在對話中使用這些工具：

你能抓取 https://example.com 的內容並將其轉換為 Markdown 格式嗎？

📚 詳細文檔

開發

先決條件

• Node.js >= 18
• npm

項目結構

mcp-server-webscan/
├── src/
│   └── index.ts    # 主服務器實現文件
├── dist/           # 編譯後的 JavaScript 文件
├── package.json
└── tsconfig.json

構建

npm run build

開發模式

npm run dev

錯誤處理

該服務器實現了全面的錯誤處理機制，涵蓋以下錯誤類型：

• 參數無效
• 網絡錯誤
• 內容解析錯誤
• URL 驗證錯誤

所有錯誤均按照 MCP 規範進行處理。

📄 感謝您的貢獻

感謝您使用本項目！如果在使用過程中有任何問題或建議，請隨時與我們聯繫。