MCP Read Website Fast

🚀 @just-every/mcp-read-website-fast

這是一款專為AI智能體打造的工具，能夠快速、高效地從網頁中提取內容，並將其轉換為簡潔的Markdown格式，極大地節省了處理網頁內容時所需的令牌數量。

🚀 快速開始

在使用本工具之前，你需要了解它解決的核心問題：現有的MCP網頁爬蟲速度慢且消耗大量令牌，這會導致開發過程受阻，同時LLM在解析整個網頁時也難以提供完整的結果。而本MCP包可以在本地獲取網頁，去除噪聲，將內容轉換為簡潔的Markdown格式，同時保留鏈接。它專為Claude Code、IDE和LLM管道設計，具有極小的令牌佔用率，並且可以在本地進行網站爬取，依賴項極少。

✨ 主要特性

• 快速啟動：使用官方MCP SDK並採用懶加載技術，以實現最佳性能。
• 內容提取：利用Mozilla Readability（與Firefox閱讀器視圖相同）進行內容提取。
• HTML轉Markdown：支持使用Turndown進行轉換，並支持GFM格式。
• 智能緩存：使用SHA - 256哈希處理URL，實現智能緩存。
• 禮貌爬取：支持robots.txt並進行速率限制，確保爬取行為符合規範。
• 併發獲取：可配置深度爬取，實現併發獲取網頁內容。
• 流式優先設計：採用流式優先設計，降低內存使用。
• 鏈接保留：保留鏈接，便於構建知識圖譜。
• 可選分塊：支持可選分塊，方便下游處理。

可用工具

• read_website_fast - 獲取網頁並將其轉換為簡潔的Markdown格式。
  • 參數：
    • url（必需）：要獲取的HTTP/HTTPS URL。
    • depth（可選）：爬取深度（0表示單頁）。
    • respectRobots（可選）：是否遵守robots.txt。

可用資源

• read-website-fast://status - 獲取緩存統計信息。
• read-website-fast://clear-cache - 清除緩存目錄。

📦 安裝指南

Claude Code

claude mcp add read-website-fast -s user -- npx -y @just-every/mcp-read-website-fast

VS Code

code --add-mcp '{"name":"read-website-fast","command":"npx","args":["-y","@just-every/mcp-read-website-fast"]}'

Cursor

cursor://anysphere.cursor-deeplink/mcp/install?name=read-website-fast&config=eyJyZWFkLXdlYnNpdGUtZmFzdCI6eyJjb21tYW5kIjoibnB4IiwiYXJncyI6WyIteSIsIkBqdXN0LWV2ZXJ5L21jcC1yZWFkLXdlYnNpdGUtZmFzdCJdfX0=

JetBrains IDEs

設置 → 工具 → AI助手 → 模型上下文協議（MCP） → 添加

選擇 “以JSON格式” 並粘貼：

{"command":"npx","args":["-y","@just-every/mcp-read-website-fast"]}

或者，在聊天窗口中輸入 /add 並填寫相同的JSON，這兩種方式都可以一步完成服務器的配置。

原始JSON（適用於任何MCP客戶端）

{
  "mcpServers": {
    "read-website-fast": {
      "command": "npx",
      "args": ["-y", "@just-every/mcp-read-website-fast"]
    }
  }
}

將此內容放入客戶端的mcp.json文件中（例如，.vscode/mcp.json、~/.cursor/mcp.json或Claude的.mcp.json）。

💻 使用示例

基礎用法

安裝

npm install
npm run build

單頁獲取

npm run dev fetch https://example.com/article

帶深度的爬取

npm run dev fetch https://example.com --depth 2 --concurrency 5

輸出格式

# 僅輸出Markdown（默認）
npm run dev fetch https://example.com

# 輸出帶有元數據的JSON
npm run dev fetch https://example.com --output json

# 同時輸出URL和Markdown
npm run dev fetch https://example.com --output both

高級用法

CLI選項

• -d, --depth <number> - 爬取深度（0表示單頁，默認值：0）。
• -c, --concurrency <number> - 最大併發請求數（默認值：3）。
• --no-robots - 忽略robots.txt。
• --all-origins - 允許跨域爬取。
• -u, --user-agent <string> - 自定義用戶代理。
• --cache-dir <path> - 緩存目錄（默認值：.cache）。
• -t, --timeout <ms> - 請求超時時間（以毫秒為單位，默認值：30000）。
• -o, --output <format> - 輸出格式：json、markdown或both（默認值：markdown）。

清除緩存

npm run dev clear-cache

🔧 技術細節

架構

mcp/
├── src/
│   ├── crawler/        # URL獲取、隊列管理、robots.txt處理
│   ├── parser/         # DOM解析、Readability處理、Turndown轉換
│   ├── cache/          # 基於磁盤的緩存，使用SHA - 256鍵
│   ├── utils/          # 日誌記錄器、分塊工具
│   └── index.ts        # CLI入口點

開發命令

# 以開發模式運行
npm run dev fetch https://example.com

# 為生產環境構建
npm run build

# 運行測試
npm test

# 類型檢查
npm run typecheck

# 代碼檢查
npm run lint

🤝 貢獻指南

歡迎大家貢獻代碼！請按照以下步驟進行：

1. Fork倉庫。
2. 創建功能分支。
3. 為新功能添加測試。
4. 提交拉取請求。

❓ 故障排除

緩存問題

npm run dev clear-cache

超時錯誤

• 使用 -t 標誌增加超時時間。
• 檢查網絡連接。
• 驗證URL是否可訪問。

內容未提取

• 某些網站會阻止自動化訪問。
• 嘗試使用 -u 標誌自定義用戶代理。
• 檢查網站是否需要JavaScript支持（本工具不支持）。

📄 許可證

本項目採用MIT許可證。