MCP Read Website Fast

🚀 @just-every/mcp-read-website-fast

このパッケージは、AIエージェント向けの高速でトークン効率の良いWebコンテンツ抽出ツールです。WebサイトをクリーンなMarkdown形式に変換します。

🚀 クイックスタート

既存のMCP Webクローラーは低速で大量のトークンを消費します。これにより開発プロセスが停滞し、LLMがWebページ全体を解析するために不完全な結果しか得られません。

このMCPパッケージは、Webページをローカルで取得し、ノイズを除去し、リンクを保持しながらコンテンツをクリーンなMarkdownに変換します。Claude Code、IDE、LLMパイプライン向けに設計されており、最小限のトークン使用量で動作します。依存関係が少なく、ローカルでサイトをクロールできます。

✨ 主な機能

• 高速起動：公式MCP SDKを使用し、遅延読み込みで最適なパフォーマンスを実現
• コンテンツ抽出：Mozilla Readability（Firefoxのリーダービューと同じ）を使用
• HTMLからMarkdownへの変換：Turndown + GFMサポート
• スマートキャッシュ：SHA - 256でハッシュ化されたURLを使用
• 礼儀正しいクローリング：robots.txtサポートとレート制限
• 並列取得：クローリング深度を設定可能
• ストリーム指向の設計：低メモリ使用量
• リンク保存：知識グラフ用
• オプションのチャンキング：下流の処理用

📦 インストール

Claude Code

claude mcp add read-website-fast -s user -- npx -y @just-every/mcp-read-website-fast

VS Code

code --add-mcp '{"name":"read-website-fast","command":"npx","args":["-y","@just-every/mcp-read-website-fast"]}'

Cursor

cursor://anysphere.cursor-deeplink/mcp/install?name=read-website-fast&config=eyJyZWFkLXdlYnNpdGUtZmFzdCI6eyJjb21tYW5kIjoibnB4IiwiYXJncyI6WyIteSIsIkBqdXN0LWV2ZXJ5L21jcC1yZWFkLXdlYnNpdGUtZmFzdCJdfX0=

JetBrains IDEs

設定 → ツール → AIアシスタント → モデルコンテキストプロトコル（MCP） → 追加

「JSONとして」を選択し、以下を貼り付けます。

{"command":"npx","args":["-y","@just-every/mcp-read-website-fast"]}

または、チャットウィンドウで /add と入力し、同じJSONを入力します。どちらの方法でも、サーバーを一度で設定できます。

生のJSON（任意のMCPクライアントで動作）

{
  "mcpServers": {
    "read-website-fast": {
      "command": "npx",
      "args": ["-y", "@just-every/mcp-read-website-fast"]
    }
  }
}

これをクライアントの mcp.json （例：.vscode/mcp.json、~/.cursor/mcp.json、またはClaudeの .mcp.json）に追加します。

利用可能なツール

• read_website_fast - Webページを取得し、クリーンなMarkdownに変換します。
  • パラメーター:
    • url (必須): 取得するHTTP/HTTPSのURL
    • depth (オプション): クローリング深度 (0 = 単一ページ)
    • respectRobots (オプション): robots.txtを尊重するかどうか

利用可能なリソース

• read-website-fast://status - キャッシュ統計情報を取得します。
• read-website-fast://clear-cache - キャッシュディレクトリをクリアします。

💻 使用例

基本的な使用法

# インストール
npm install
npm run build

# 単一ページの取得
npm run dev fetch https://example.com/article

# 深度を指定したクローリング
npm run dev fetch https://example.com --depth 2 --concurrency 5

# 出力形式
# Markdownのみ（デフォルト）
npm run dev fetch https://example.com

# メタデータ付きのJSON出力
npm run dev fetch https://example.com --output json

# URLとMarkdownの両方
npm run dev fetch https://example.com --output both

高度な使用法

# CLIオプション
- `-d, --depth <number>` - クローリング深度 (0 = 単一ページ, デフォルト: 0)
- `-c, --concurrency <number>` - 最大同時リクエスト数 (デフォルト: 3)
- `--no-robots` - robots.txtを無視する
- `--all-origins` - クロスオリジンのクローリングを許可する
- `-u, --user-agent <string>` - カスタムユーザーエージェント
- `--cache-dir <path>` - キャッシュディレクトリ (デフォルト: .cache)
- `-t, --timeout <ms>` - リクエストタイムアウト（ミリ秒） (デフォルト: 30000)
- `-o, --output <format>` - 出力形式: json, markdown, またはboth (デフォルト: markdown)

# キャッシュのクリア
npm run dev clear-cache

🔧 技術詳細

アーキテクチャ

mcp/
├── src/
│   ├── crawler/        # URL取得、キュー管理、robots.txt
│   ├── parser/         # DOM解析、Readability、Turndown変換
│   ├── cache/          # SHA-256キーを使用したディスクベースのキャッシュ
│   ├── utils/          # ロガー、チャンカーユーティリティ
│   └── index.ts        # CLIエントリポイント

開発コマンド

# 開発モードで実行
npm run dev fetch https://example.com

# 本番用にビルド
npm run build

# テストの実行
npm test

# 型チェック
npm run typecheck

# リント
npm run lint

コントリビューション

コントリビューションは大歓迎です！以下の手順に従ってください。

1. リポジトリをフォークします。
2. 機能ブランチを作成します。
3. 新機能に対するテストを追加します。
4. プルリクエストを送信します。

トラブルシューティング

キャッシュの問題

npm run dev clear-cache

タイムアウトエラー

• -t フラグでタイムアウトを増やします。
• ネットワーク接続を確認します。
• URLがアクセス可能かを確認します。

コンテンツが抽出されない場合

• 一部のサイトは自動アクセスをブロックしている場合があります。
• -u フラグでカスタムユーザーエージェントを試してみます。
• サイトがJavaScriptを必要とするかを確認します（サポートされていません）。

📄 ライセンス

MITライセンスです。