Usescraper MCP Server

🚀 使用UseScraper MCP服務器

這是一個基於 TypeScript 的 MCP 服務器，可藉助 UseScraper API 實現網頁抓取功能。它僅暴露了一個名為 'scrape' 的工具，卻能以多種格式從網頁中提取內容。

✨ 主要特性

工具

• scrape：用於從網頁中提取內容。
  • 參數：
    • url（必填）：待抓取網頁的 URL。
    • format（可選）：保存內容的格式，支持 text、html、markdown，默認格式為 markdown。
    • advanced_proxy（可選）：可使用高級代理來規避反爬蟲檢測，默認值為 false。
    • extract_object（可選）：用於指定要提取的數據對象。

📦 安裝指南

通過 Smithery 安裝

若要為 Claude Desktop 自動安裝 UseScraper，可通過 Smithery 執行以下命令：

npx -y @smithery/cli install usescraper-server --client claude

手動安裝

1. 克隆倉庫：

git clone https://github.com/your-repo/usescraper-server.git
cd usescraper-server

2. 安裝依賴項：

npm install

3. 構建服務器：

npm run build

📚 詳細文檔

配置

若要與 Claude Desktop 配合使用，需添加服務器配置：

• 在 MacOS 上：配置文件路徑為 ~/Library/Application Support/Claude/claude_desktop_config.json。
• 在 Windows 上：配置文件路徑為 %APPDATA%/Claude/claude_desktop_config.json%。

{
  "mcpServers": {
    "usescraper-server": {
      "command": "node",
      "args": ["/path/to/usescraper-server/build/index.js"],
      "env": {
        "USESCRAPER_API_KEY": "your-api-key-here"
      }
    }
  }
}

請將 /path/to/usescraper-server 替換為服務器的實際路徑，並將 your-api-key-here 替換為你的 UseScraper API 密鑰。

使用方法

完成配置後，可通過 MCP 接口使用 'scrape' 工具，示例如下：

{
  "name": "scrape",
  "arguments": {
    "url": "https://example.com",
    "format": "markdown"
  }
}

開發

若要進行帶有自動重建的功能開發，可執行以下命令：

npm run watch

調試

由於 MCP 服務器通過標準輸入輸出進行通信，調試可能存在一定挑戰。我們推薦使用 MCP Inspector，可通過以下包腳本運行：

npm run inspector

Inspector 會提供一個 URL，你可在瀏覽器中訪問該 URL 來使用調試工具。