Whatsupdoc
WhatsUpDoc (downmarked) 是一個命令行工具,用於通過Model Context Protocol (MCP) 獲取並本地存儲開發者文檔,支持將網頁內容轉換為Markdown格式,並提供遞歸抓取、按標題分割文件等功能。
評分 : 2.5分
下載量 : 22
什麼是WhatsUpDoc?
WhatsUpDoc是一個命令行工具,幫助開發者將在線文檔抓取並轉換為Markdown格式保存到本地。它使用Model Context Protocol (MCP)進行標準化通信,可以智能地抓取網頁內容並轉換為易讀的文檔格式。如何使用WhatsUpDoc?
安裝後只需簡單命令即可抓取文檔:1) 全局安裝工具 2) 使用fetch命令指定URL 3) 選擇保存位置。工具會自動處理HTML到Markdown的轉換。適用場景
適合需要離線閱讀文檔的開發者、團隊內部文檔歸檔、文檔內容分析等場景。特別適合React、Python等技術的官方文檔抓取。主要功能
文檔抓取與轉換從任何網站抓取文檔內容並轉換為Markdown格式
精準內容定位使用CSS選擇器精確定位需要抓取的文檔內容區域
遞歸抓取自動跟隨鏈接遞歸抓取相關文檔頁面
文檔分割按標題將大文檔分割為多個小文件,便於管理
優勢與侷限性
優勢
簡單易用的命令行界面
支持多種文檔網站抓取
保持文檔原始結構的同時轉換為Markdown
開源且可擴展
侷限性
對複雜JavaScript渲染的頁面支持有限
需要手動指定CSS選擇器才能獲得最佳效果
遞歸抓取可能遇到網站反爬限制
如何使用
安裝工具
通過npm全局安裝或使用npx直接運行
基本抓取
使用fetch命令抓取指定URL的文檔
指定保存位置
使用-o參數指定輸出文件路徑
高級選項
使用選擇器、遞歸抓取等高級功能
使用案例
抓取React文檔將React官方文檔保存到本地Markdown文件
抓取Python教程抓取Python官方教程並分割為多個文件
精準抓取文檔主體只抓取網頁main區域的內容
常見問題
工具支持哪些網站?
如何確定CSS選擇器?
遞歸抓取會觸發網站限制嗎?
生成的Markdown格式不理想怎麼辦?
相關資源
Model Context Protocol (MCP)
MCP通信框架項目主頁
Turndown項目
HTML轉Markdown工具
Cheerio項目
HTML解析工具
npm包頁面
WhatsUpDoc的npm官方頁面
精選MCP服務推薦

Baidu Map
已認證
百度地圖MCP Server是國內首個兼容MCP協議的地圖服務,提供地理編碼、路線規劃等10個標準化API接口,支持Python和Typescript快速接入,賦能智能體實現地圖相關功能。
Python
695
4.5分

Markdownify MCP
Markdownify是一個多功能文件轉換服務,支持將PDF、圖片、音頻等多種格式及網頁內容轉換為Markdown格式。
TypeScript
1.7K
5分

Firecrawl MCP Server
Firecrawl MCP Server是一個集成Firecrawl網頁抓取能力的模型上下文協議服務器,提供豐富的網頁抓取、搜索和內容提取功能。
TypeScript
3.8K
5分

Sequential Thinking MCP Server
一個基於MCP協議的結構化思維服務器,通過定義思考階段幫助分解複雜問題並生成總結
Python
245
4.5分

Notion Api MCP
已認證
一個基於Python的MCP服務器,通過Notion API提供高級待辦事項管理和內容組織功能,實現AI模型與Notion的無縫集成。
Python
111
4.5分

Edgeone Pages MCP Server
EdgeOne Pages MCP是一個通過MCP協議快速部署HTML內容到EdgeOne Pages並獲取公開URL的服務
TypeScript
243
4.8分

Context7
Context7 MCP是一個為AI編程助手提供即時、版本特定文檔和代碼示例的服務,通過Model Context Protocol直接集成到提示中,解決LLM使用過時信息的問題。
TypeScript
5.2K
4.7分

Magic MCP
Magic Component Platform (MCP) 是一個AI驅動的UI組件生成工具,通過自然語言描述幫助開發者快速創建現代化UI組件,支持多種IDE集成。
JavaScript
1.7K
5分