Website To Markdown Converter

🚀 ウェブサイトスクレイピングツール

このツールは、ウェブサイトをスクレイピングし、HTMLをMarkdownに変換するためのコマンドラインツールおよびMCPサーバーです。

✨ 主な機能

• MozillaのReadabilityライブラリ（Firefoxのリーディングビューと同じエンジンを使用）を利用して、ウェブページの有意義な内容を抽出します。
• TurndownServiceを使って、クリーンなHTMLを高品質なMarkdownに変換します。
• HTMLを安全に処理し、潜在的に有害なスクリプトタグを削除します。
• コマンドラインツールとしても、MCPサーバーとしても動作します。
• ローカルのHTMLファイルを直接Markdownに変換することができます。

📦 インストール

# 依存関係のインストール
npm install

# プロジェクトのビルド
npm run build

# オプション：グローバルインストール
npm install -g .

💻 使用例

基本的な使用法

コマンドラインモード

# コンソールに結果を出力
scrape https://example.com

# 結果をファイルに保存
scrape https://example.com output.md

# ローカルのHTMLファイルを直接Markdownに変換
scrape --html-file input.html

# ローカルのHTMLファイルを変換して結果を保存
scrape --html-file input.html output.md

# ヘルプ情報を表示
scrape --help

# またはnpmスクリプトを通じて実行
npm run start:cli -- https://example.com

MCPサーバーモード

このツールは、モデルコンテキストプロトコル（MCP）サーバーとして使用することができます。

# MCPサーバーモードで起動
npm start

高度な使用法

APIの使用

このツールは以下の関数をエクスポートしています。

// ウェブサイトをスクレイピングしてMarkdownに変換
import { scrapeToMarkdown } from './build/index.js';

// HTML文字列を直接Markdownに変換
import { htmlToMarkdown } from './build/data_processing.js';

async function 示例() {
  // ウェブサイトのスクレイピング
  const markdown = await scrapeToMarkdown('https://example.com');
  console.log(markdown);
  
  // HTMLの直接変換
  const html = '<h1>你好，世界！</h1><p>这是<strong>粗体</strong>文本。</p>';
  const md = htmlToMarkdown(html);
  console.log(md);
}

📚 ドキュメント

コード構造

• src/index.ts - 核心機能とMCPサーバーの実装
• src/cli.ts - コマンドラインインターフェイスの実装
• src/data_processing.ts - HTMLからMarkdownへの変換機能

📄 ライセンス

ISC