W

Whatsupdoc

WhatsUpDoc (downmarked) 是一個命令行工具,用於通過Model Context Protocol (MCP) 獲取並本地存儲開發者文檔,支持將網頁內容轉換為Markdown格式,並提供遞歸抓取、按標題分割文件等功能。
2.5分
22

什麼是WhatsUpDoc?

WhatsUpDoc是一個命令行工具,幫助開發者將在線文檔抓取並轉換為Markdown格式保存到本地。它使用Model Context Protocol (MCP)進行標準化通信,可以智能地抓取網頁內容並轉換為易讀的文檔格式。

如何使用WhatsUpDoc?

安裝後只需簡單命令即可抓取文檔:1) 全局安裝工具 2) 使用fetch命令指定URL 3) 選擇保存位置。工具會自動處理HTML到Markdown的轉換。

適用場景

適合需要離線閱讀文檔的開發者、團隊內部文檔歸檔、文檔內容分析等場景。特別適合React、Python等技術的官方文檔抓取。

主要功能

文檔抓取與轉換從任何網站抓取文檔內容並轉換為Markdown格式
精準內容定位使用CSS選擇器精確定位需要抓取的文檔內容區域
遞歸抓取自動跟隨鏈接遞歸抓取相關文檔頁面
文檔分割按標題將大文檔分割為多個小文件,便於管理

優勢與侷限性

優勢
簡單易用的命令行界面
支持多種文檔網站抓取
保持文檔原始結構的同時轉換為Markdown
開源且可擴展
侷限性
對複雜JavaScript渲染的頁面支持有限
需要手動指定CSS選擇器才能獲得最佳效果
遞歸抓取可能遇到網站反爬限制

如何使用

安裝工具
通過npm全局安裝或使用npx直接運行
基本抓取
使用fetch命令抓取指定URL的文檔
指定保存位置
使用-o參數指定輸出文件路徑
高級選項
使用選擇器、遞歸抓取等高級功能

使用案例

抓取React文檔將React官方文檔保存到本地Markdown文件
抓取Python教程抓取Python官方教程並分割為多個文件
精準抓取文檔主體只抓取網頁main區域的內容

常見問題

工具支持哪些網站?
如何確定CSS選擇器?
遞歸抓取會觸發網站限制嗎?
生成的Markdown格式不理想怎麼辦?

相關資源

Model Context Protocol (MCP)
MCP通信框架項目主頁
Turndown項目
HTML轉Markdown工具
Cheerio項目
HTML解析工具
npm包頁面
WhatsUpDoc的npm官方頁面
安裝
複製以下命令到你的Client進行配置
注意:您的密鑰屬於敏感信息,請勿與任何人分享。
精選MCP服務推薦
B
Baidu Map
已認證
百度地圖MCP Server是國內首個兼容MCP協議的地圖服務,提供地理編碼、路線規劃等10個標準化API接口,支持Python和Typescript快速接入,賦能智能體實現地圖相關功能。
Python
695
4.5分
M
Markdownify MCP
Markdownify是一個多功能文件轉換服務,支持將PDF、圖片、音頻等多種格式及網頁內容轉換為Markdown格式。
TypeScript
1.7K
5分
F
Firecrawl MCP Server
Firecrawl MCP Server是一個集成Firecrawl網頁抓取能力的模型上下文協議服務器,提供豐富的網頁抓取、搜索和內容提取功能。
TypeScript
3.8K
5分
S
Sequential Thinking MCP Server
一個基於MCP協議的結構化思維服務器,通過定義思考階段幫助分解複雜問題並生成總結
Python
245
4.5分
N
Notion Api MCP
已認證
一個基於Python的MCP服務器,通過Notion API提供高級待辦事項管理和內容組織功能,實現AI模型與Notion的無縫集成。
Python
111
4.5分
E
Edgeone Pages MCP Server
EdgeOne Pages MCP是一個通過MCP協議快速部署HTML內容到EdgeOne Pages並獲取公開URL的服務
TypeScript
243
4.8分
C
Context7
Context7 MCP是一個為AI編程助手提供即時、版本特定文檔和代碼示例的服務,通過Model Context Protocol直接集成到提示中,解決LLM使用過時信息的問題。
TypeScript
5.2K
4.7分
M
Magic MCP
Magic Component Platform (MCP) 是一個AI驅動的UI組件生成工具,通過自然語言描述幫助開發者快速創建現代化UI組件,支持多種IDE集成。
JavaScript
1.7K
5分
AIbase
智啟未來,您的人工智慧解決方案智庫
© 2025AIbase