MCP Url Fetcher

🚀 MCP URL 格式轉換器

MCP URL 格式轉換器是一個模型上下文協議（MCP）服務器，它能從任意 URL 獲取內容，並將其轉換為所需的輸出格式，為網絡內容的處理提供了便利。

🚀 快速開始

MCP URL 格式轉換器提供了從任意來源獲取內容並將其轉換為多種格式（HTML、JSON、Markdown 或純文本）的工具，無論原始內容類型如何。它設計用於與任何 MCP 兼容的客戶端一起使用，包括適用於桌面的Claude，使大型語言模型能夠以一致的格式訪問、轉換和分析網絡內容。

✨ 主要特性

• 🔄 格式轉換：將任意網絡內容轉換為 HTML、JSON、Markdown 或純文本。
• 🌐 通用輸入支持：處理網站、API、原始文件等。
• 🔍 智能內容識別：自動檢測源格式。
• 🧰 強大的庫支持：
  • 使用 Cheerio 進行 HTML 解析。
  • 使用 Marked 處理 Markdown。
  • 使用 Fast-XML-Parser 處理 XML。
  • 使用 CSVtoJSON 轉換 CSV。
  • 使用 SanitizeHTML 進行內容 sanitization。
  • 使用 Turndown 進行 HTML 轉 Markdown。
• 🔧 高級格式處理：
  • HTML 解析和元數據提取。
  • JSON 美化打印和結構保留。
  • Markdown 渲染和樣式應用。
  • CSV 到表格轉換。
  • XML 到 JSON 轉換。
• 📜 歷史記錄跟蹤：維護最近訪問的 URL 日誌。
• 🛡️ 安全重點：內容 sanitization 防 XSS 攻擊。

📦 安裝指南

先決條件

• Node.js 16.x 或更高版本。
• npm 或 yarn。

快速開始

1. 克隆倉庫：

git clone https://github.com/yourusername/mcp-url-converter.git
cd mcp-url-converter

2. 安裝依賴項：

npm install

3. 啟動服務器：

node index.js

💻 使用示例

基礎用法

# 示例：將 HTML 轉換為 JSON
curl -X POST http://localhost:3000/convert \
     --data-raw '{"url":"https://example.com","format":"json"}'

📚 詳細文檔

工具列表

安全措施

該工具採取了多項安全措施：

• 使用 SanitizeHTML 進行內容 sanitization，防止 XSS 攻擊。
• 內容驗證和處理前的安全檢查。
• 錯誤處理和默認安全設置。
• 輸入參數驗證（使用 Zod）。
• 輸出編碼的安全性。

測試

您可以通過 MCP 檢查器測試該工具：

npm run test

常見問題

1. 連接錯誤

如果出現連接錯誤，請檢查 URL 是否正確且可以訪問。

2. 轉換錯誤

某些複雜內容可能無法順利轉換為所需格式。

3. 跨域問題

某些網站可能會阻止來自未知源的請求。

4. 調試模式

需要更多調試信息時，設置 DEBUG 環境變量：

DEBUG=mcp:* npm start

📄 許可證

該項目在 MIT 許可證下發布，詳情請參見 LICENSE 文件。

致謝

• 使用 模型上下文協議 構建。
• 採用現代、維護活躍且注重安全的庫。
• 內容 sanitization 基於 OWASP 建議。

更新日期：2025 年 3 月 29 日