Markdown Web Crawl

🚀 MD 網站爬蟲項目（基於MCP協議）

本項目是一個基於 Python 的 MCP 協議（https://modelcontextprotocol.io/introduction）網絡爬蟲，可高效提取網站內容並保存，為網站內容處理提供便捷方案。

🚀 快速開始

本爬蟲是基於 Python 的 MCP 協議網絡爬蟲，用於提取並保存網站內容。

✨ 主要特性

• 提取網站內容並以 Markdown 文件格式保存
• 映射網站結構和鏈接
• 批量處理多個 URL
• 可配置的輸出目錄

📦 安裝指南

1. 克隆倉庫：

git clone https://github.com/yourusername/webcrawler.git
cd webcrawler

2. 安裝依賴項：

pip install -r requirements.txt

3. 可選：配置環境變量：

export OUTPUT_PATH=./output  # 設置您首選的輸出目錄

輸出結果

爬取的內容將以 Markdown 格式保存到指定的輸出目錄中。

配置選項

通過環境變量對服務器進行配置：

使用 Claude 設置

通過 FastMCP 安裝服務器： fastmcp install server.py

或使用自定義設置直接運行：

{
    "Crawl Server": {
        "command": "fastmcp",
        "args": [
            "run",
            "/Users/mm22/Dev_Projekte/servers-main/src/Webcrawler/server.py"
        ],
        "env": {
            "OUTPUT_PATH": "/Users/user/Webcrawl"
        }
    }
}

📚 詳細文檔

開發指南

即時開發

fastmcp dev server.py --with-editable .

調試

建議使用 https://modelcontextprotocol.io/docs/tools/inspector 工具進行調試

💻 使用示例

基礎用法

mcp call extract_content --url "https://example.com" --output_path "example.md"

高級用法

mcp call scan_linked_content --url "https://example.com" | \
  mcp call create_index --content_map - --output_path "index.md"

貢獻指南

1. 叉取倉庫
2. 創建功能分支 (git checkout -b feature/AmazingFeature)
3. 提交更改 (git commit -m 'Add some AmazingFeature')
4. 推送到分支 (git push origin feature/AmazingFeature)
5. 提交 Pull Request

📄 許可證

本項目基於 MIT 協議開源。更多詳細信息請參閱 LICENSE 文件。

依賴項

• Python 3.7+
• FastMCP（uv pip install fastmcp）
• 列於 requirements.txt 中的其他依賴項