Huoshui Fetch

🚀 火水抓取工具

火水抓取工具是一個專門用於網頁內容抓取和轉換的MCP（模型上下文協議）服務器，它提供了從網頁抓取、轉換和提取數據的工具，為網頁數據處理提供了便捷的解決方案。

✨ 主要特性

抓取工具

• fetch_url：可從URL抓取內容，支持自定義超時時間、重定向處理和用戶代理。
• fetch_with_headers：可使用自定義請求頭抓取URL，適用於需要身份驗證的請求。

轉換工具

• html_to_markdown_tool：將HTML轉換為簡潔的Markdown格式。
• html_to_text_tool：從HTML中提取純文本。
• clean_html_tool：移除腳本和樣式，對HTML進行清理。
• json_to_markdown_tool：將JSON數據轉換為易讀的Markdown格式。

提取工具

• extract_article_tool：使用可讀性算法提取文章的主要內容。
• extract_links_tool：提取所有鏈接，並支持過濾選項。
• extract_metadata_tool：提取頁面的元數據（標題、描述、OG標籤等）。
• extract_images_tool：提取圖片，並支持尺寸過濾。
• extract_structured_data_tool：提取JSON-LD和微數據。

📦 安裝指南

從MCP註冊表安裝（推薦）

此服務器可在模型上下文協議註冊表中獲取，可使用MCP客戶端進行安裝。 MCP名稱：io.github.huoshuiai42/huoshui-fetch

# 使用uv（推薦）
uv sync

# 或者從GitHub安裝
pip install git+https://github.com/yourusername/huoshui-fetch.git

💻 使用示例

基礎用法

本工具提供了多種使用方式，以下是一些常見的使用示例。

使用uvx運行（一次性使用推薦）

# 從本地倉庫運行
uvx --from . huoshui-fetch

# 從GitHub運行（發佈後）
uvx --from git+https://github.com/yourusername/huoshui-fetch.git huoshui-fetch

直接運行

# 使用uv運行
uv run python -m huoshui_fetch

# 或者如果已安裝
python -m huoshui_fetch

該服務器通過標準輸入/輸出進行通信，非常適合與Claude Desktop和其他支持MCP的客戶端集成。

Claude Desktop配置

將以下內容添加到Claude Desktop配置文件中：

{
  "mcpServers": {
    "huoshui-fetch": {
      "command": "uvx",
      "args": ["--no-cache", "--from", ".", "huoshui-fetch"],
      "cwd": "/path/to/huoshui-fetch"
    }
  }
}

或者如果從GitHub安裝：

{
  "mcpServers": {
    "huoshui-fetch": {
      "command": "uvx",
      "args": [
        "--from",
        "git+https://github.com/yourusername/huoshui-fetch.git",
        "huoshui-fetch"
      ]
    }
  }
}

配置完成後，可在Claude Desktop中使用這些工具：

// 抓取網頁
fetch_url("https://example.com")

// 將HTML轉換為Markdown
html_to_markdown_tool("<h1>Hello</h1><p>World</p>")

// 提取文章內容
extract_article_tool(html_content, "https://example.com/article")

高級用法

開發與發佈

本項目包含了用於構建和發佈到PyPI的全面自動化流程。

自動化發佈工作流

# 完整的自動化工作流（TestPyPI + PyPI）
uv run python scripts/publish.py --include-pypi

# 僅發佈到TestPyPI（測試推薦）
uv run python scripts/publish.py

# 提升版本併發布
uv run python scripts/publish.py --version-bump patch --include-pypi

單個命令

# 版本管理
uv run python scripts/version_manager.py --check
uv run python scripts/version_manager.py --bump patch

# 設置PyPI憑證（首次使用）
uv run python scripts/credentials_setup.py

# 構建包
uv run python scripts/build.py

# 運行全面測試
uv run python scripts/test.py

# 上傳到PyPI
uv run python scripts/upload.py

特性

• ✅ 版本管理：自動同步所有文件中的版本信息。
• ✅ 質量檢查：使用Ruff進行代碼檢查和MyPy進行類型檢查。
• ✅ 構建自動化：進行乾淨的構建並驗證。
• ✅ 測試套件：對包和功能進行全面測試。
• ✅ 發佈工作流：通過uv publish從TestPyPI發佈到PyPI（支持.pypirc文件）。
• ✅ 錯誤恢復：內置錯誤處理和恢復選項。

詳細文檔請參閱 PUBLISHING.md。

DXT擴展

本項目支持DXT（桌面擴展）格式，便於分發和安裝。 要構建DXT擴展：

python build_dxt.py

這將創建一個 huoshui-fetch-{version}.dxt 文件，可在兼容的AI桌面應用程序中安裝。

📄 許可證

本項目採用MIT許可證。