MCP Doc Scraper

🚀 文檔抓取器 MCP 服務器

本項目是一個提供文檔抓取功能的 Model Context Protocol (MCP) 服務器，它藉助 jina.ai 的轉換服務，能夠將基於網絡的文檔轉換為 Markdown 格式，為文檔處理提供了便利。

🚀 快速開始

使用 Python 運行服務器：

python -m mcp_doc_scraper

✨ 主要特性

• 從任何網頁 URL 抓取文檔
• 將 HTML 文檔轉換為 Markdown 格式
• 將轉換後的文檔保存到指定輸出路徑
• 集成 Model Context Protocol (MCP)

📦 安裝指南

使用 Smithery 安裝

通過 Smithery 自動安裝 Claude Desktop 的 Doc Scraper：

npx -y @smithery/cli install @askjohngeorge/mcp-doc-scraper --client claude

手動安裝

1. 克隆倉庫：

git clone https://github.com/askjohngeorge/mcp-doc-scraper.git
cd mcp-doc-scraper

2. 創建並激活虛擬環境：

python -m venv venv
source venv/bin/activate  # 在 Windows 上使用: venv\Scripts\activate

3. 安裝依賴項：

pip install -e .

💻 使用示例

基礎用法

該服務器提供一個工具：

• 名稱：scrape_docs
• 描述：從 URL 抓取文檔並保存為 Markdown 文件
• 輸入參數：
  • url：要抓取的文檔 URL
  • output_path：要保存 Markdown 文件的路徑

📚 詳細文檔

項目結構

doc_scraper/
├── __init__.py
├── __main__.py
└── server.py

依賴項

開發

1. 安裝開發依賴項：

pip install -r requirements.txt

2. 該服務器使用 Model Context Protocol。請熟悉 MCP 文檔。

📄 許可證

本項目採用 MIT License 進行許可。