Huoshui Fetch

🚀 火水抓取工具

火水抓取工具是一个专门用于网页内容抓取和转换的MCP（模型上下文协议）服务器，它提供了从网页抓取、转换和提取数据的工具，为网页数据处理提供了便捷的解决方案。

✨ 主要特性

抓取工具

• fetch_url：可从URL抓取内容，支持自定义超时时间、重定向处理和用户代理。
• fetch_with_headers：可使用自定义请求头抓取URL，适用于需要身份验证的请求。

转换工具

• html_to_markdown_tool：将HTML转换为简洁的Markdown格式。
• html_to_text_tool：从HTML中提取纯文本。
• clean_html_tool：移除脚本和样式，对HTML进行清理。
• json_to_markdown_tool：将JSON数据转换为易读的Markdown格式。

提取工具

• extract_article_tool：使用可读性算法提取文章的主要内容。
• extract_links_tool：提取所有链接，并支持过滤选项。
• extract_metadata_tool：提取页面的元数据（标题、描述、OG标签等）。
• extract_images_tool：提取图片，并支持尺寸过滤。
• extract_structured_data_tool：提取JSON-LD和微数据。

📦 安装指南

从MCP注册表安装（推荐）

此服务器可在模型上下文协议注册表中获取，可使用MCP客户端进行安装。 MCP名称：io.github.huoshuiai42/huoshui-fetch

# 使用uv（推荐）
uv sync

# 或者从GitHub安装
pip install git+https://github.com/yourusername/huoshui-fetch.git

💻 使用示例

基础用法

本工具提供了多种使用方式，以下是一些常见的使用示例。

使用uvx运行（一次性使用推荐）

# 从本地仓库运行
uvx --from . huoshui-fetch

# 从GitHub运行（发布后）
uvx --from git+https://github.com/yourusername/huoshui-fetch.git huoshui-fetch

直接运行

# 使用uv运行
uv run python -m huoshui_fetch

# 或者如果已安装
python -m huoshui_fetch

该服务器通过标准输入/输出进行通信，非常适合与Claude Desktop和其他支持MCP的客户端集成。

Claude Desktop配置

将以下内容添加到Claude Desktop配置文件中：

{
  "mcpServers": {
    "huoshui-fetch": {
      "command": "uvx",
      "args": ["--no-cache", "--from", ".", "huoshui-fetch"],
      "cwd": "/path/to/huoshui-fetch"
    }
  }
}

或者如果从GitHub安装：

{
  "mcpServers": {
    "huoshui-fetch": {
      "command": "uvx",
      "args": [
        "--from",
        "git+https://github.com/yourusername/huoshui-fetch.git",
        "huoshui-fetch"
      ]
    }
  }
}

配置完成后，可在Claude Desktop中使用这些工具：

// 抓取网页
fetch_url("https://example.com")

// 将HTML转换为Markdown
html_to_markdown_tool("<h1>Hello</h1><p>World</p>")

// 提取文章内容
extract_article_tool(html_content, "https://example.com/article")

高级用法

开发与发布

本项目包含了用于构建和发布到PyPI的全面自动化流程。

自动化发布工作流

# 完整的自动化工作流（TestPyPI + PyPI）
uv run python scripts/publish.py --include-pypi

# 仅发布到TestPyPI（测试推荐）
uv run python scripts/publish.py

# 提升版本并发布
uv run python scripts/publish.py --version-bump patch --include-pypi

单个命令

# 版本管理
uv run python scripts/version_manager.py --check
uv run python scripts/version_manager.py --bump patch

# 设置PyPI凭证（首次使用）
uv run python scripts/credentials_setup.py

# 构建包
uv run python scripts/build.py

# 运行全面测试
uv run python scripts/test.py

# 上传到PyPI
uv run python scripts/upload.py

特性

• ✅ 版本管理：自动同步所有文件中的版本信息。
• ✅ 质量检查：使用Ruff进行代码检查和MyPy进行类型检查。
• ✅ 构建自动化：进行干净的构建并验证。
• ✅ 测试套件：对包和功能进行全面测试。
• ✅ 发布工作流：通过uv publish从TestPyPI发布到PyPI（支持.pypirc文件）。
• ✅ 错误恢复：内置错误处理和恢复选项。

详细文档请参阅 PUBLISHING.md。

DXT扩展

本项目支持DXT（桌面扩展）格式，便于分发和安装。 要构建DXT扩展：

python build_dxt.py

这将创建一个 huoshui-fetch-{version}.dxt 文件，可在兼容的AI桌面应用程序中安装。

📄 许可证

本项目采用MIT许可证。