Website To Markdown Converter

🚀 網站抓取工具

本工具是一個命令行工具和MCP服務器，可用於抓取網站，並將HTML轉換為Markdown，為網頁內容處理提供便利。

🚀 快速開始

本工具結合命令行工具和MCP服務器模式，支持多種使用方式，能快速滿足你的網頁內容處理需求。

✨ 主要特性

• 使用Mozilla的可讀性庫（與Firefox閱讀視圖使用相同引擎）提取網頁中的有意義內容。
• 利用TurndownService將乾淨的HTML轉換為高質量的Markdown。
• 安全處理HTML，移除可能具有危害性的腳本標籤。
• 可作為命令行工具和MCP服務器運行。
• 支持直接將本地HTML文件轉換為Markdown。

📦 安裝指南

# 安裝依賴項
npm install

# 構建項目
npm run build

# 可選：全局安裝
npm install -g .

💻 使用示例

命令行模式

# 在控制檯輸出結果
scrape https://example.com

# 將結果保存到文件中
scrape https://example.com output.md

# 直接轉換本地HTML文件為Markdown
scrape --html-file input.html

# 轉換本地HTML文件並保存結果
scrape --html-file input.html output.md

# 顯示幫助信息
scrape --help

# 或通過npm腳本運行
npm run start:cli -- https://example.com

MCP服務器模式

此工具可以作為模型上下文協議（MCP）服務器使用：

# 以MCP服務器模式啟動
npm start

📚 詳細文檔

代碼結構

• src/index.ts - 核心功能和MCP服務器實現。
• src/cli.ts - 命令行界面實現。
• src/data_processing.ts - HTML到Markdown轉換功能。

API

該工具導出以下函數：

// 抓取網站並轉為Markdown
import { scrapeToMarkdown } from './build/index.js';

// 直接將HTML字符串轉為Markdown
import { htmlToMarkdown } from './build/data_processing.js';

async function 示例() {
  // 網站抓取
  const markdown = await scrapeToMarkdown('https://example.com');
  console.log(markdown);
  
  // 直接轉換HTML
  const html = '<h1>你好，世界！</h1><p>這是<strong>粗體</strong>文本。</p>';
  const md = htmlToMarkdown(html);
  console.log(md);
}

📄 許可證

ISC