Fetch MCP Server Y8a

🚀 拉取MCP服務器

這是一個提供網絡內容抓取功能的模型上下文協議（Model Context Protocol）服務器，它利用瀏覽器自動化、OCR技術和多種提取方法，讓大型語言模型（LLMs）能夠從互聯網頁面檢索並處理內容，即便這些頁面需要JavaScript渲染或採用了防簡單抓取的技術。

✨ 主要特性

• 提供網絡內容抓取功能，支持從互聯網頁面檢索並處理內容。
• 利用瀏覽器自動化、OCR技術和多種提取方法，可應對需要JavaScript渲染或防簡單抓取技術的頁面。
• 擁有 sophisticated scoring system，能選擇最佳結果，確保提取內容的可靠性和高質量。

📦 安裝指南

使用Docker

要使用Docker安裝和運行mcp-server-fetch，請按照以下步驟操作：

1. 構建Docker鏡像：

docker build -t mcp-server-fetch .

2. 運行Docker容器：

docker run --rm -i mcp-server-fetch

📚 詳細文檔

可用工具

• fetch - 使用瀏覽器自動化和多方法提取（包括OCR）從互聯網抓取URL。
  • url (字符串，必需)：要抓取的URL
  • raw (布爾值，可選)：獲取實際HTML內容，而不是簡化後的內容（默認：false）

服務器使用多種方法提取內容：

1. 使用undetected-chromedriver的瀏覽器自動化
2. 使用pytesseract和佈局檢測的OCR
3. 使用requests/BeautifulSoup的HTML提取
4. 文檔解析（PDF、DOCX、PPTX）
5. 原始Markdown轉換方法

服務器使用 sophisticated scoring system 選擇最佳結果，考慮以下因素：

1. 基礎內容分數（滿分50分）
   • 根據內容長度授予積分（每100字符1分，最高50分）
   • 對於極短內容（<100字符）進行扣分
2. 結構獎勵（滿分20分）
   • 為結構良好的內容授予積分
   • 內容段落越多，表示組織越好
3. 質量懲罰
   • 檢測並懲罰錯誤消息
   • 對包含錯誤指示器的內容進行降分
   • 驗證內容結構和可讀性

評分系統確保無論使用哪種提取方法，都能選擇最可靠和高質量的內容。提供調試日誌以跟蹤評分決策。

提示

• fetch
  • 抓取URL並將其內容提取為Markdown格式，使用瀏覽器自動化 參數：
• url (字符串，必需)：要抓取的URL

配置

配置Roo Code或Claude App

將以下內容添加到您的Claude設置中：

{
  "mcpServers": {
    "fetch": {
      "command": "docker",
      "args": [
        "run",
        "--rm",
        "-i",
        "mcp-server-fetch"
      ],
      "disabled": false,
      "alwaysAllow": []
    }
  }
}

自定義 - 用戶代理

默認情況下，根據請求是否來自模型（通過工具）或用戶發起（通過提示），服務器將使用以下用戶代理：

ModelContextProtocol/1.0 (Autonomous; +https://github.com/modelcontextprotocol/servers)

或

ModelContextProtocol/1.0 (User-Specified; +https://github.com/modelcontextprotocol/servers)

通過在args列表中添加參數--user-agent，可以自定義用戶代理字符串。

瀏覽器自動化設置

如果需要配置瀏覽器自動化，請參考以下示例：

{
  "mcpServers": {
    "fetch": {
      "command": "docker",
      "args": [
        "run",
        "--rm",
        "-i",
        "mcp-server-fetch"
      ],
      "customHeaders": {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36"
      },
      "disableCache": true,
      "screenshots": {
        "enabled": true,
        "path": "/screenshots"
      }
    }
  }
}

高級配置

您可以使用以下高級選項：

• proxy：設置代理
• timeout：設置請求超時時間
• maxRedirects：設置最大重定向次數
• retry：設置重試次數
• delay：設置抓取延遲

🤝 貢獻

我們歡迎社區貢獻！請參考貢獻指南。

📄 許可證

本項目受MIT License許可：

MIT License

Copyright (c) 2023 Your Name

Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the "Software"), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions:

The above copyright notice and this permission notice shall be included in all
copies or substantial portions of the Software.

THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
SOFTWARE.

📞 聯繫方式

• 郵件：contact@example.com
• GitHub：您的GitHub鏈接

感謝使用Fetch MCP服務器！如果有任何問題或建議，請隨時聯繫我們。