Web Fetch

🚀 獲取 MCP 服務器

本 MCP 服務器具備強大的網頁內容抓取能力，可提供 HTML、JSON、純文本和 Markdown 等多種格式的抓取結果，滿足多樣化的數據獲取需求。

🚀 快速開始

入門步驟

1. 克隆倉庫。
2. 安裝依賴項：npm install。
3. 構建服務器：npm run build。

運行服務器

要使用該服務器，可直接運行以下命令：

npm start

此命令將啟動在標準輸入輸出上運行的 Fetch MCP Server。

與桌面應用集成

若要將此服務器集成到桌面應用程序中，請將以下內容添加到應用程序的服務器配置中：

{
  "mcpServers": {
    "fetch": {
      "command": "node",
      "args": [
        "{ABSOLUTE PATH TO FILE HERE}/dist/index.js"
      ]
    }
  }
}

✨ 主要特性

• 運用現代 fetch API 高效抓取網絡內容。
• 支持自定義請求頭，靈活定製請求信息。
• 提供 HTML、JSON、純文本和 Markdown 等多種內容格式。
• 藉助 JSDOM 進行 HTML 解析和文本提取。
• 利用 TurndownService 實現 HTML 到 Markdown 的轉換。

📦 安裝指南

1. 克隆倉庫。
2. 安裝依賴項：npm install。
3. 構建服務器：npm run build。

💻 使用示例

基礎用法

要啟動服務器，可使用以下命令：

npm start

高級用法

若要將服務器集成到桌面應用程序中，需在應用程序的服務器配置中添加如下內容：

{
  "mcpServers": {
    "fetch": {
      "command": "node",
      "args": [
        "{ABSOLUTE PATH TO FILE HERE}/dist/index.js"
      ]
    }
  }
}

🔧 技術細節

組件

工具

• fetch_html：用於抓取網站並返回 HTML 內容。

  • 輸入：
    • url (字符串，必填)：待抓取的網站 URL。
    • headers (對象，可選)：請求中包含的自定義頭。
  • 輸出：網頁的原始 HTML 內容。

• fetch_json：從指定 URL 獲取 JSON 文件。

  • 輸入：
    • url (字符串，必填)：要獲取的 JSON 文件的 URL。
    • headers (對象，可選)：請求中包含的自定義頭。
  • 輸出：解析後的 JSON 內容。

• fetch_txt：抓取網站並返回純文本內容（無 HTML 標籤）。

  • 輸入：
    • url (字符串，必填)：待抓取的網站 URL。
    • headers (對象，可選)：請求中包含的自定義頭。
  • 輸出：去除 HTML 標籤、腳本和樣式後的網頁文本內容。

• fetch_markdown：抓取網站並將網頁內容轉換為 Markdown 格式。

  • 輸入：
    • url (字符串，必填)：待抓取的網站 URL。
    • headers (對象，可選)：請求中包含的自定義頭。
  • 輸出：網頁內容轉換為 Markdown 格式的結果。

資源

此服務器不提供任何持久資源，其設計目的是按需抓取和轉換網絡內容。

開發

• 運行 npm run dev 可啟動 TypeScript 編譯器的監視模式，方便開發調試。
• 使用 npm test 可運行測試套件，確保代碼質量。

📄 許可證

此項目根據 MIT 許可證發佈。