Web Fetch

🚀 获取 MCP 服务器

本 MCP 服务器具备强大的网页内容抓取能力，可提供 HTML、JSON、纯文本和 Markdown 等多种格式的抓取结果，满足多样化的数据获取需求。

🚀 快速开始

入门步骤

1. 克隆仓库。
2. 安装依赖项：npm install。
3. 构建服务器：npm run build。

运行服务器

要使用该服务器，可直接运行以下命令：

npm start

此命令将启动在标准输入输出上运行的 Fetch MCP Server。

与桌面应用集成

若要将此服务器集成到桌面应用程序中，请将以下内容添加到应用程序的服务器配置中：

{
  "mcpServers": {
    "fetch": {
      "command": "node",
      "args": [
        "{ABSOLUTE PATH TO FILE HERE}/dist/index.js"
      ]
    }
  }
}

✨ 主要特性

• 运用现代 fetch API 高效抓取网络内容。
• 支持自定义请求头，灵活定制请求信息。
• 提供 HTML、JSON、纯文本和 Markdown 等多种内容格式。
• 借助 JSDOM 进行 HTML 解析和文本提取。
• 利用 TurndownService 实现 HTML 到 Markdown 的转换。

📦 安装指南

1. 克隆仓库。
2. 安装依赖项：npm install。
3. 构建服务器：npm run build。

💻 使用示例

基础用法

要启动服务器，可使用以下命令：

npm start

高级用法

若要将服务器集成到桌面应用程序中，需在应用程序的服务器配置中添加如下内容：

{
  "mcpServers": {
    "fetch": {
      "command": "node",
      "args": [
        "{ABSOLUTE PATH TO FILE HERE}/dist/index.js"
      ]
    }
  }
}

🔧 技术细节

组件

工具

• fetch_html：用于抓取网站并返回 HTML 内容。

  • 输入：
    • url (字符串，必填)：待抓取的网站 URL。
    • headers (对象，可选)：请求中包含的自定义头。
  • 输出：网页的原始 HTML 内容。

• fetch_json：从指定 URL 获取 JSON 文件。

  • 输入：
    • url (字符串，必填)：要获取的 JSON 文件的 URL。
    • headers (对象，可选)：请求中包含的自定义头。
  • 输出：解析后的 JSON 内容。

• fetch_txt：抓取网站并返回纯文本内容（无 HTML 标签）。

  • 输入：
    • url (字符串，必填)：待抓取的网站 URL。
    • headers (对象，可选)：请求中包含的自定义头。
  • 输出：去除 HTML 标签、脚本和样式后的网页文本内容。

• fetch_markdown：抓取网站并将网页内容转换为 Markdown 格式。

  • 输入：
    • url (字符串，必填)：待抓取的网站 URL。
    • headers (对象，可选)：请求中包含的自定义头。
  • 输出：网页内容转换为 Markdown 格式的结果。

资源

此服务器不提供任何持久资源，其设计目的是按需抓取和转换网络内容。

开发

• 运行 npm run dev 可启动 TypeScript 编译器的监视模式，方便开发调试。
• 使用 npm test 可运行测试套件，确保代码质量。

📄 许可证

此项目根据 MIT 许可证发布。