Mcpdatafetchserver

🚀 📂 MCP數據獲取服務器

MCP數據獲取服務器 是一個安全的沙箱化服務器，它通過 模型控制協議（MCP） 在不執行 JavaScript 的情況下獲取網頁內容並提取數據。

📖 目錄

• 主要特性
• 安裝與快速開始
• 命令行選項
• 與 LM Studio 集成
• MCP API 概述
• 可用工具
• 安全特性

✨ 主要特性

• 安全的網頁獲取 – 去除腳本、iframe 和 cookie 橫幅；不執行 JavaScript。
• 豐富的數據提取 – 檢索鏈接、元數據、Open Graph/Twitter 卡片和可下載資源。
• 安全的文件下載 – 有大小限制、文件名清理和沙箱緩存內的路徑遍歷保護。
• 內置緩存 – 可選的緩存目錄可減少重複的網絡調用。
• 提示注入檢測 – 驗證 URL 和獲取的內容是否包含惡意指令。

📦 安裝與快速開始

# 克隆倉庫（或複製 MCPDataFetchServer.1 文件夾）
git clone https://github.com/undici77/MCPDataFetchServer.git
cd MCPDataFetchServer

# 使啟動腳本可執行
chmod +x run.sh

# 運行服務器，指向沙箱化的工作目錄
./run.sh -d /path/to/working/directory

📌 三步概述 1️⃣ 腳本創建一個虛擬環境並安裝依賴項。 2️⃣ 它在項目根目錄內準備一個緩存文件夾（.fetch_cache）。 3️⃣ main.py 啟動 MCP 服務器，在 stdin/stdout 上監聽 JSON‑RPC 請求。

⚙️ 命令行選項

🤝 與 LM Studio 集成 (或任何 MCP 兼容的客戶端)

在你的 mcp.json 配置中添加一個條目，以便 LM Studio 可以自動啟動服務器。

{
  "mcpServers": {
    "datafetch": {
      "command": "/absolute/path/to/MCPDataFetchServer.1/run.sh",
      "args": [
        "-d",
        "/absolute/path/to/working/directory"
      ],
      "env": { "WORKING_DIR": "." }
    }
  }
}

📌 提示：確保 run.sh 是可執行的（chmod +x …），並且虛擬環境可以在首次啟動時安裝所需的 Python 包。

📡 MCP API 概述

所有通信都遵循通過 stdin/stdout 的 JSON‑RPC 2.0 協議。

initialize

請求：

{
  "jsonrpc": "2.0",
  "id": 1,
  "method": "initialize",
  "params": {}
}

響應包含協議版本、服務器功能和基本元數據（例如，名稱 = mcp-datafetch-server，版本 = 2.1.0）。

tools/list

請求：

{
  "jsonrpc": "2.0",
  "id": 2,
  "method": "tools/list",
  "params": {}
}

響應：{ "tools": [ …工具定義… ] }。每個定義包括 name、description 和一個 輸入模式（JSON Schema）。

tools/call

通用請求格式（根據需要替換 <tool_name> 和參數）：

{
  "jsonrpc": "2.0",
  "id": 3,
  "method": "tools/call",
  "params": {
    "name": "<tool_name>",
    "arguments": { … }
  }
}

服務器根據工具的模式驗證請求，執行操作，並返回一個包含一個或多個 內容塊 的 ToolResult。

🛠️ 可用工具

fetch_webpage

• 安全地獲取網頁並以請求的格式返回乾淨的內容。

示例

{
  "jsonrpc": "2.0",
  "id": 10,
  "method": "tools/call",
  "params": {
    "name": "fetch_webpage",
    "arguments": {
      "url": "https://example.com/article",
      "format": "markdown",
      "include_links": true,
      "include_images": false,
      "remove_banners": true
    }
  }
}

注意：該工具在返回內容之前會清理 HTML，去除腳本/iframe，並檢查提示注入模式。

extract_links

• 從頁面中提取並分類所有超鏈接。

示例

{
  "jsonrpc": "2.0",
  "id": 11,
  "method": "tools/call",
  "params": {
    "name": "extract_links",
    "arguments": {
      "url": "https://example.com/blog",
      "filter": "internal"
    }
  }
}

注意：鏈接分為 內部（同一域名）或 外部；資源鏈接（圖像、PDF 等）可以使用 resources 進行過濾。

download_file

• 安全地將遠程文件下載到沙箱化的緩存目錄中。

示例

{
  "jsonrpc": "2.0",
  "id": 12,
  "method": "tools/call",
  "params": {
    "name": "download_file",
    "arguments": {
      "url": "https://example.com/files/report.pdf",
      "filename": "report_latest.pdf"
    }
  }
}

注意：服務器強制執行 100 MB 的下載限制，根據阻止的域名/擴展名驗證 URL，並返回工作目錄內的相對路徑以供跨代理訪問。

get_page_metadata

• 從網頁中提取結構化元數據（標題、描述、Open Graph、Twitter 卡片）。

示例

{
  "jsonrpc": "2.0",
  "id": 13,
  "method": "tools/call",
  "params": {
    "name": "get_page_metadata",
    "arguments": { "url": "https://example.com/product/42" }
  }
}

注意：該工具返回一個包含標題、描述、關鍵字、Open Graph 屬性和 Twitter 卡片字段的格式化文本塊。

check_url

• 執行輕量級的 HEAD 請求，報告狀態碼、頭部信息和大小，而不下載正文。

示例

{
  "jsonrpc": "2.0",
  "id": 14,
  "method": "tools/call",
  "params": {
    "name": "check_url",
    "arguments": { "url": "https://example.com/resource.zip" }
  }
}

注意：響應包括重定向後的最終 URL、簡潔的狀態摘要（✅ 正常或 ⚠️ 錯誤）以及選定的 HTTP 頭部信息，如 Content‑Type 和 Content‑Length。

🔐 安全特性

• 路徑遍歷保護 – 所有文件操作都限制在沙箱化的 工作目錄 內。
• 對 URL、獲取的 HTML 和生成的內容進行提示注入檢測。
• 阻止的域名和擴展名（本地主機、私有 IP 範圍、可執行/腳本文件）。
• 內容大小限制 – 頁面獲取最大 50 MB，文件下載最大 100 MB。
• HTML 清理 – 在處理之前去除 <script>、<iframe>、事件處理程序和其他危險元素。
• Cookie/橫幅處理 – 在獲取過程中可選地去除同意橫幅和彈出窗口。

© 2025 Undici77 – 保留所有權利。