Skrape MCP

🚀 Skrape MCP 服務器

使用 skrape.ai 將任何網頁轉換為乾淨、適合大語言模型（LLM）的 Markdown 格式，非常適合將網絡內容輸入到 LLM 中。此 MCP 服務器提供了一個簡單的接口，使用 skrape.ai API 將網頁轉換為結構化、乾淨的 Markdown 格式，設計用於與 Claude Desktop、其他 LLM 和兼容 MCP 的應用程序無縫集成。

🚀 快速開始

此 MCP 服務器能讓你輕鬆將網頁轉換為適合 LLM 的 Markdown 格式，以下為你介紹使用方法。

✨ 主要特性

使用 Skrape 進行 LLM 集成的原因

• 清潔、結構化的輸出：生成格式良好的 Markdown，適合 LLM 消費。
• 噪聲減少：自動去除廣告、導航菜單和其他無關內容。
• 一致的格式：無論來源如何，確保網絡內容均勻結構化。
• JavaScript 支持：通過渲染 JavaScript 處理動態內容。
• LLM 優化：非常適合將網絡內容輸入到 Claude、GPT 和其他 LLM 模型中。

工具

• get_markdown - 將任意網頁轉換為適合 LLM 的 Markdown。
  • 接受任何輸入 URL 和可選參數。
  • 返回乾淨的結構化 Markdown，適合 LLM 消費。
  • 支持 JavaScript 渲染以處理動態內容。
  • 可選 JSON 響應格式，適用於高級集成。

📦 安裝指南

使用 Smithery 進行自動安裝

要通過 Smithery 自動為 Claude Desktop 安裝 Skrape MCP 服務器，可執行以下命令：

npx -y @smithery/cli install @skrapeai/skrape-mcp --client claude

手動安裝

1. 從 skrape.ai 獲取您的 API 密鑰。
2. 安裝依賴項：

npm install

3. 構建服務器：

npm run build

4. 將服務器配置添加到 Claude Desktop 中：
   • 在 MacOS 上：

nano ~/Library/Application\ Support/Claude/claude_desktop_config.json

- 在 Windows 上：

notepad %APPDATA%/Claude/claude_desktop_config.json

然後添加以下配置（請用您的路徑和 API 密鑰替換）：

{
  "mcpServers": {
    "skrape": {
      "command": "node",
      "args": ["path/to/skrape-mcp/build/index.js"],
      "env": {
        "SKRAPE_API_KEY": "your-key-here"
      }
    }
  }
}

💻 使用示例

與 LLM 結合使用

以下是將服務器與 Claude 或其他 LLM 模型一起使用的步驟：

1. 首先確保服務器在您的 LLM 應用程序中正確配置。
2. 然後，您可以指示 ALLMI 抓取並處理任何網頁：

將此網頁轉換為 Markdown：https://example.com

Claude 將使用 MCP 工具如下：
<use_mcp_tool>
<server_name>skrape</server_name>
<tool_name>get_markdown</tool_name>
<arguments>
{
  "url": "https://example.com",
  "options": {
    "renderJs": true
  }
}
</arguments>
</use_mcp_tool>

生成的 Markdown 將是清潔、結構化的，並且準備好供 LLM 處理。

高級用法

get_markdown 工具接受以下參數：

• url（必需）：要轉換的任何網頁 URL。
• returnJson（可選）：設置為 true 以獲取完整的 JSON 響應，而不是僅 Markdown。
• options（可選）：附加抓取選項。
  • renderJs：是否在抓取前渲染 JavaScript（默認：true）。

所有選項的示例：

<use_mcp_tool>
<server_name>skrape</server_name>
<tool_name>get_markdown</tool_name>
<arguments>
{
  "url": "https://example.com",
  "returnJson": true,
  "options": {
    "renderJs": true
  }
}
</arguments>
</use_mcp_tool>

📚 詳細文檔

項目地址

• GitHub
• npm

功能概覽

1. 服務器安裝與配置

• 步驟 1：克隆倉庫

git clone https://github.com/skrape-ai/skrape-mcp-server.git
cd skrape-mcp-server

• 步驟 2：安裝依賴項

npm install

• 步驟 3：配置服務器
  • 創建 config.json 文件：

{
  "port": 3000,
  "api_key": "your_api_key_here"
}

• 步驟 4：啟動服務器

npm start

2. 客戶端使用示例

示例 1：基本用法

const { Client } = require('@skrape/mcp-client');

async function main() {
    const client = new Client('localhost', 3000);
    const result = await client.getMarkdown('https://example.com');
    console.log(result.markdown); // 輸出 Markdown 內容
}

main().catch(console.error);

示例 2：使用高級選項

const { Client } = require('@skrape/mcp-client');

async function main() {
    const options = {
        renderJs: true,
        returnJson: true
    };
    
    const client = new Client('localhost', 3000);
    const result = await client.getMarkdown('https://example.com', options);
    console.log(result); // 輸出 JSON 響應
}

main().catch(console.error);

文檔資源

• 官方文檔：Skrape MCP 服務器文檔
• 客戶端庫：@skrape/mcp-client

支持與聯繫

• 問題報告：在 GitHub Issues 提交問題。
• 聯繫方式：支持郵箱
• 社區討論：加入 Skrape 交流群組

其他資源

• 視頻教程：如何使用 Skrape MCP 服務器
• 博客文章：利用 Skrape 提升 web 抓取效率