MCP Getweb

🚀 MCP-GetWeb

MCP-GetWeb 是一個基於模型上下文協議（MCP）的服務器，它具備網頁搜索和內容提取的強大能力，能為用戶提供便捷的網絡信息獲取體驗。

🚀 快速開始

在開始使用前，你需要準備以下信息：

• Google API
• Google 搜索引擎 ID
• Jina AI

以下是配置示例：

{
  "mcpServers": {
    "getweb": {
      "command": "npx",
      "args": [
        "mcp-getweb"
      ],
      "type": "stdio",
      "env": {
        "GOOGLE_API_KEY": "XXXXXXXXX",
        "GOOGLE_SEARCH_ENGINE_ID": "XXXXXXXXX",
        "JINA_API_KEY": "jina_XXXXXXXXX"
      }
    }
  }
}

✨ 主要特性

1) DuckDuckGo 搜索 (duckduckgo-search)

藉助 DuckDuckGo 進行網頁搜索，並支持 HTML 內容抓取。

參數說明：

• query（字符串，必填）：搜索查詢詞
• page（整數，可選）：頁碼（默認值：1，最小值：1）
• numResults（整數，可選）：返回結果數量（默認值：10，最小值：1，最大值：20）

2) Google 搜索 (google-search)

利用可編程搜索引擎進行 Google 搜索，並返回相關結果。

參數說明：

• query（字符串，必填）：搜索查詢詞；使用引號可進行精確匹配
• num_results（整數，可選）：返回結果總數（默認值：5，最大值：10）
• site（字符串，可選）：限定搜索特定網站/域名（例如：wikipedia.org）
• language（字符串，可選）：ISO 639 - 1 語言代碼（例如：en, es）
• dateRestrict（字符串，可選）：日期過濾器，例如：d7, w4, m6, y1
• exactTerms（字符串，可選）：必須出現的精確短語
• resultType（字符串，可選）：結果類型：image|images|news|video|videos
• page（整數，可選）：分頁頁碼（默認值：1，最小值：1）
• resultsPerPage（整數，可選）：每頁結果數量（默認值：5，最大值：10）
• sort（字符串，可選）：排序順序，relevance（默認）或 date

注意：需要設置 GOOGLE_API_KEY 和 GOOGLE_SEARCH_ENGINE_ID。

3) Felo AI 搜索 (felo-search)

基於人工智能的搜索功能，可提供上下文相關的響應，獲取最新的技術信息（版本發佈、公告、遷移、基準測試、社區見解等）。

參數說明：

• query（字符串，必填）：搜索查詢詞或提示
• stream（布爾值，可選）：是否流式返回響應（默認值：false）

4) URL 內容抓取 (fetch-url)

抓取指定 URL 的內容，並以文本形式返回，支持提取控制。

參數說明：

• url（字符串，必填）：要抓取的 URL
• maxLength（整數，可選）：最大內容長度（默認值：10000，最小值：1000，最大值：50000）
• extractMainContent（布爾值，可選）：嘗試提取主要內容（默認值：true）
• includeLinks（布爾值，可選）：包含鏈接文本（默認值：true）
• includeImages（布爾值，可選）：包含圖片 alt 文本（默認值：true）
• excludeTags（字符串數組，可選）：要排除的標籤（默認包含 script, style, noscript, iframe, svg, nav, footer, header, aside）

5) URL 元數據提取 (url-metadata)

從指定 URL 提取元數據（標題、描述、圖片、圖標）。

參數說明：

• url（字符串，必填）：要提取元數據的 URL

6) URL 抓取並轉換為 Markdown (url-fetch)

抓取網頁內容並轉換為 Markdown 格式。支持處理 HTML、純文本和 JSON（以代碼塊形式格式化輸出）。

參數說明：

• url（字符串，必填）：要抓取並轉換為 Markdown 的 URL

7) Jina 閱讀器 (jina-reader)

使用 Jina r.reader 從指定 URL 檢索適合大語言模型（LLM）的內容，支持可選的摘要和格式設置。

參數說明：

• url（字符串，必填）：要抓取和解析的 URL
• maxLength（整數，可選）：最大輸出長度（默認值：10000，最小值：1000，最大值：50000）
• withLinksummary（布爾值，可選）：包含鏈接摘要（默認值：false）
• withImagesSummary（布爾值，可選）：包含圖片摘要（默認值：false）
• withGeneratedAlt（布爾值，可選）：為圖片生成 alt 文本（默認值：false）
• returnFormat（字符串，可選）：markdown（默認） | html | text | screenshot | pageshot
• noCache（布爾值，可選）：繞過緩存（默認值：false）
• timeout（整數，可選）：最大等待秒數（默認值：10，最小值：5，最大值：30）

注意：需要設置 JINA_API_KEY。

🙏 致謝

• Anthropic 提供的模型上下文協議規範
• DuckDuckGo 提供的注重隱私的網頁搜索體驗
• Google 可編程搜索引擎和自定義搜索 JSON API
• Jina AI r.reader API 實現高質量的內容提取
• Felo AI 提供的最新的、面向開發者的搜索見解
• 支撐本服務器的 Rust 生態系統和相關庫：
  • tokio、reqwest、serde、serde_json、tracing、tracing - subscriber、clap
  • scraper、html5ever、markup5ever_rcdom、regex、once_cell、futures、async - stream
  • url、uuid、thiserror、tokio - util、rand、urlencoding
• 更廣泛的 MCP 社區提供的指導、示例和討論

🛠️ 支持

如果您遇到任何問題或有疑問，請在 GitHub 上提交問題。