Mcpdatafetchserver

🚀 📂 MCPデータ取得サーバー

MCPデータ取得サーバーは、JavaScriptを実行せずに、モデル制御プロトコル（MCP） を介してWebコンテンツを取得し、データを抽出する安全なサンドボックス化されたサーバーです。

目次

• 主な機能
• インストールとクイックスタート
• コマンドラインオプション
• LM Studioとの統合
• MCP APIの概要
• 利用可能なツール
• セキュリティ機能

✨ 主な機能

• 安全なWebページ取得 – スクリプト、iframe、クッキーバナーを削除し、JavaScriptを実行しません。
• 豊富なデータ抽出 – リンク、メタデータ、Open Graph/Twitterカード、およびダウンロード可能なリソースを取得します。
• 安全なファイルダウンロード – サイズ制限、ファイル名のサニタイズ、およびサンドボックス化されたキャッシュ内でのパストラバーサル保護があります。
• 内蔵キャッシュ – オプションのキャッシュディレクトリにより、繰り返しのネットワーク呼び出しを減らします。
• プロンプトインジェクション検出 – URLと取得したコンテンツに対して悪意のある命令を検証します。

📦 インストールとクイックスタート

# リポジトリをクローンする（またはMCPDataFetchServer.1フォルダをコピーする）
git clone https://github.com/undici77/MCPDataFetchServer.git
cd MCPDataFetchServer

# 起動スクリプトを実行可能にする
chmod +x run.sh

# サーバーを実行し、サンドボックス化された作業ディレクトリを指定する
./run.sh -d /path/to/working/directory

📌 3ステップの概要 1️⃣ スクリプトは仮想環境を作成し、依存関係をインストールします。 2️⃣ プロジェクトルート内にキャッシュフォルダ（.fetch_cache）を準備します。 3️⃣ main.py がMCPサーバーを起動し、JSON-RPCリクエストを stdin/stdout で待機します。

⚙️ コマンドラインオプション

🤝 LM Studioとの統合

mcp.json 設定にエントリを追加すると、LM Studioがサーバーを自動的に起動できます。

{
  "mcpServers": {
    "datafetch": {
      "command": "/absolute/path/to/MCPDataFetchServer.1/run.sh",
      "args": [
        "-d",
        "/absolute/path/to/working/directory"
      ],
      "env": { "WORKING_DIR": "." }
    }
  }
}

📌 ヒント: run.sh が実行可能であること（chmod +x …）、および仮想環境が初回起動時に必要なPythonパッケージをインストールできることを確認してください。

📡 MCP APIの概要

すべての通信は stdin/stdout を介した JSON-RPC 2.0 に従います。

initialize

リクエスト:

{
  "jsonrpc": "2.0",
  "id": 1,
  "method": "initialize",
  "params": {}
}

レスポンスには、プロトコルバージョン、サーバーの機能、および基本的なメタデータ（例: 名前 = mcp-datafetch-server、バージョン = 2.1.0）が含まれます。

tools/list

リクエスト:

{
  "jsonrpc": "2.0",
  "id": 2,
  "method": "tools/list",
  "params": {}
}

レスポンス: { "tools": [ …ツール定義… ] }。各定義には name、description、および 入力スキーマ（JSON Schema）が含まれます。

tools/call

一般的なリクエストの形式（必要に応じて <tool_name> と引数を置き換えてください）:

{
  "jsonrpc": "2.0",
  "id": 3,
  "method": "tools/call",
  "params": {
    "name": "<tool_name>",
    "arguments": { … }
  }
}

サーバーは、リクエストをツールのスキーマに対して検証し、操作を実行し、1つ以上の コンテンツブロック を含む ToolResult を返します。

🛠️ 利用可能なツール

fetch_webpage

• Webページを安全に取得し、要求された形式でクリーンなコンテンツを返します。

例

{
  "jsonrpc": "2.0",
  "id": 10,
  "method": "tools/call",
  "params": {
    "name": "fetch_webpage",
    "arguments": {
      "url": "https://example.com/article",
      "format": "markdown",
      "include_links": true,
      "include_images": false,
      "remove_banners": true
    }
  }
}

注: このツールは、HTMLをサニタイズし、スクリプト/iframeを削除し、コンテンツを返す前にプロンプトインジェクションパターンをチェックします。

extract_links

• ページからすべてのハイパーリンクを抽出し、分類します。

例

{
  "jsonrpc": "2.0",
  "id": 11,
  "method": "tools/call",
  "params": {
    "name": "extract_links",
    "arguments": {
      "url": "https://example.com/blog",
      "filter": "internal"
    }
  }
}

注: リンクは 内部（同じドメイン）または 外部 として分類されます。リソースリンク（画像、PDFなど）は resources でフィルタリングできます。

download_file

• リモートファイルを安全にサンドボックス化されたキャッシュディレクトリにダウンロードします。

例

{
  "jsonrpc": "2.0",
  "id": 12,
  "method": "tools/call",
  "params": {
    "name": "download_file",
    "arguments": {
      "url": "https://example.com/files/report.pdf",
      "filename": "report_latest.pdf"
    }
  }
}

注: サーバーは 100 MB のダウンロード制限を適用し、URLをブロックされたドメイン/拡張子に対して検証し、作業ディレクトリ内の相対パスを返して、エージェント間でのアクセスを可能にします。

get_page_metadata

• Webページから構造化されたメタデータ（タイトル、説明、Open Graph、Twitterカード）を抽出します。

例

{
  "jsonrpc": "2.0",
  "id": 13,
  "method": "tools/call",
  "params": {
    "name": "get_page_metadata",
    "arguments": { "url": "https://example.com/product/42" }
  }
}

注: このツールは、タイトル、説明、キーワード、Open Graphプロパティ、およびTwitterカードフィールドを含むフォーマットされたテキストブロックを返します。

check_url

• 軽量のHEADリクエストを実行し、本文をダウンロードせずにステータスコード、ヘッダー、およびサイズを報告します。

例

{
  "jsonrpc": "2.0",
  "id": 14,
  "method": "tools/call",
  "params": {
    "name": "check_url",
    "arguments": { "url": "https://example.com/resource.zip" }
  }
}

注: レスポンスには、リダイレクト後の最終URL、簡潔なステータス概要（✅ OKまたは ⚠️ エラー）、および Content-Type や Content-Length などの選択されたHTTPヘッダーが含まれます。

🔐 セキュリティ機能

• パストラバーサル保護 – すべてのファイル操作はサンドボックス化された 作業ディレクトリ に制限されます。
• URL、取得したHTML、および生成されたコンテンツにおける プロンプトインジェクション検出。
• ブロックされたドメインと拡張子（ローカルホスト、プライベートIP範囲、実行可能/スクリプトファイル）。
• コンテンツサイズ制限 – ページ取得の最大50 MB、ファイルダウンロードの最大100 MB。
• HTMLサニタイズ – 処理前に <script>、<iframe>、イベントハンドラー、およびその他の危険な要素を削除します。
• クッキー/バナー処理 – 取得中に同意バナーとポップアップをオプションで削除します。

© 2025 Undici77 – 全著作権所有