Skrape MCP

🚀 Skrape MCP サーバー

skrape.ai を使用して、任意のウェブページを LLM に適したクリーンな Markdown 形式に変換します。ウェブコンテンツを LLM に入力するのに最適です。

この MCP サーバーは、skrape.ai API を使用してウェブページを構造化されたクリーンな Markdown 形式に変換するシンプルなインターフェイスを提供します。Claude Desktop、その他の LLM、および MCP 互換アプリケーションとシームレスに統合するように設計されています。

🚀 クイックスタート

この MCP サーバーは、skrape.ai API を利用してウェブページを構造化されたクリーンな Markdown 形式に変換するシンプルなインターフェイスを提供します。Claude Desktop、その他の LLM、および MCP 互換アプリケーションとシームレスに統合するように設計されています。

✨ 主な機能

Skrape を使用した LLM 統合の理由

• クリーンで構造化された出力：LLM が処理しやすい形式の Markdown を生成します。
• ノイズ削減：広告、ナビゲーションメニューなどの関係のないコンテンツを自動的に削除します。
• 一貫した形式：コンテンツのソースに関係なく、均一な構造化を保証します。
• JavaScript サポート：JavaScript をレンダリングすることで、動的なコンテンツを処理します。
• LLM 最適化：Claude、GPT などの LLM モデルにウェブコンテンツを入力するのに最適です。

ツール

• get_markdown - 任意のウェブページを LLM に適した Markdown に変換します。
  • 任意の入力 URL とオプションのパラメータを受け付けます。
  • LLM が処理しやすいクリーンな構造化 Markdown を返します。
  • 動的なコンテンツを処理するために JavaScript レンダリングをサポートします。
  • 高度な統合に適したオプションの JSON 応答形式をサポートします。

📦 インストール

Smithery を使用した自動インストール

Smithery を通じて Claude Desktop 用に Skrape MCP サーバーを自動インストールするには、以下のコマンドを実行します。

npx -y @smithery/cli install @skrapeai/skrape-mcp --client claude

手動インストール

1. skrape.ai から API キーを取得します。
2. 依存関係をインストールします。

npm install

3. サーバーをビルドします。

npm run build

4. サーバーの設定を Claude Desktop に追加します。

MacOS の場合：

nano ~/Library/Application\ Support/Claude/claude_desktop_config.json

Windows の場合：

notepad %APPDATA%/Claude/claude_desktop_config.json

以下の設定を追加します（パスと API キーを適切に置き換えてください）。

{
  "mcpServers": {
    "skrape": {
      "command": "node",
      "args": ["path/to/skrape-mcp/build/index.js"],
      "env": {
        "SKRAPE_API_KEY": "your-key-here"
      }
    }
  }
}

💻 使用例

基本的な使用法

以下は、サーバーを Claude や他の LLM モデルと一緒に使用する手順です。

1. まず、サーバーが LLM アプリケーションに正しく設定されていることを確認します。
2. 次に、ALLMI に任意のウェブページをスクレイピングして処理するよう指示することができます。

このウェブページを Markdown に変換してください：https://example.com

Claude は以下のように MCP ツールを使用します。
<use_mcp_tool>
<server_name>skrape</server_name>
<tool_name>get_markdown</tool_name>
<arguments>
{
  "url": "https://example.com",
  "options": {
    "renderJs": true
  }
}
</arguments>
</use_mcp_tool>

生成される Markdown はクリーンで構造化されており、LLM での処理にすぐに使用できます。

高度な使用法

get_markdown ツールは以下のパラメータを受け付けます。

• url（必須）：変換するウェブページの URL
• returnJson（オプション）：true に設定すると、Markdown だけでなく完全な JSON 応答を取得します。
• options（オプション）：追加のスクレイピングオプション
  • renderJs：スクレイピング前に JavaScript をレンダリングするかどうか（デフォルト：true）

すべてのオプションを使用した例：

<use_mcp_tool>
<server_name>skrape</server_name>
<tool_name>get_markdown</tool_name>
<arguments>
{
  "url": "https://example.com",
  "returnJson": true,
  "options": {
    "renderJs": true
  }
}
</arguments>
</use_mcp_tool>

📚 ドキュメント

プロジェクトのアドレス

• GitHub
• npm

機能の概要

1. サーバーのインストールと設定

• 手順 1：リポジトリをクローンします。

git clone https://github.com/skrape-ai/skrape-mcp-server.git
cd skrape-mcp-server

• 手順 2：依存関係をインストールします。

npm install

• 手順 3：サーバーを設定します。
  • config.json ファイルを作成します。

{
  "port": 3000,
  "api_key": "your_api_key_here"
}

• 手順 4：サーバーを起動します。

npm start

2. クライアントの使用例

例 1：基本的な使用法

const { Client } = require('@skrape/mcp-client');

async function main() {
    const client = new Client('localhost', 3000);
    const result = await client.getMarkdown('https://example.com');
    console.log(result.markdown); // Markdown コンテンツを出力します
}

main().catch(console.error);

例 2：高度なオプションの使用

const { Client } = require('@skrape/mcp-client');

async function main() {
    const options = {
        renderJs: true,
        returnJson: true
    };
    
    const client = new Client('localhost', 3000);
    const result = await client.getMarkdown('https://example.com', options);
    console.log(result); // JSON 応答を出力します
}

main().catch(console.error);

ドキュメント

• 公式ドキュメント：Skrape MCP サーバーのドキュメント
• クライアントライブラリ：@skrape/mcp-client

サポートと連絡先

• 問題の報告：GitHub Issues で問題を報告してください。
• 連絡先：サポートメール
• コミュニティディスカッション：Skrape 交流グループ に参加してください。

その他のリソース

• ビデオチュートリアル：Skrape MCP サーバーの使い方
• ブログ記事：Skrape を使ってウェブスクレイピングの効率を向上させる