Desktop Automation

🚀 デスクトップ自動化サーバー

このサーバーは、デスクトップ自動化機能を提供するモデルコンテキストプロトコル（MCP）サーバーで、RobotJSとスクリーンショット機能を使用しています。大規模言語モデル（LLMs）がマウスの移動、キーボード入力を制御し、デスクトップ環境のスクリーンショットを取得できるようにします。

🚀 クイックスタート

デスクトップ自動化サーバーの設定

以下は、Claude DesktopをMCPデスクトップ自動化サーバーを使用するように設定する方法です。

NPXコマンド

{
  "mcpServers": {
    "desktop-automation": {
      "command": "npx",
      "args": ["-y", "mcp-desktop-automation"]
    }
  }
}

権限要件

このサーバーは、以下の操作を実行するためにシステムレベルの権限が必要です。

• スクリーンショットの取得
• マウスの移動とクリックの制御
• キーボード入力のシミュレート

Claude Desktopを初めて実行し、このサーバーを使用する場合、オペレーティングシステムのセキュリティ設定でこれらの権限を付与する必要がある場合があります。

💻 使用例

基本的な使用法

{
  "mcpServers": {
    "desktop-automation": {
      "command": "npx",
      "args": ["-y", "mcp-desktop-automation"]
    }
  }
}

📚 ドキュメント

制限事項

このサーバーは様々なMCPクライアントと一緒に使用できますが、主にClaude Desktopとの互換性がテストされています。

⚠️ 重要提示

現在の実装には1MBの応答サイズ制限があります。スクリーンショットの場合、これは以下を意味します。

• 高解像度のスクリーンショットはこの制限を超え、失敗する可能性があります。
• テストによると、800x600の解像度では確実に動作します。
• 問題が発生した場合は、画面解像度を下げるか、特定の領域のスクリーンショットを取得することを検討してください。

システム要件

• Node.js（>=14.x）

コンポーネント

ツール

• get_screen_size

  • 画面サイズを取得します。
  • 入力パラメータは不要です。

• screen_capture

  • 現在の画面内容をキャプチャします。
  • 入力パラメータは不要です。

• keyboard_press

  • キーボードのキーまたはキーの組み合わせを押します。
  • 入力：
    • key（文字列、必須）：押すキー（例：“enter”、“a”、“control”）
    • modifiers（文字列配列、オプション）：押すときに保持する修飾キー。可能な値：“control”、“shift”、“alt”、“command”

• keyboard_type

  • 現在のカーソル位置にテキストを入力します。
  • 入力：text（文字列、必須）：入力するテキスト

• mouse_click

  • マウスクリックを実行します。
  • 入力：
    • button（文字列、オプション、デフォルト値：“left”）：クリックするマウスボタン。可能な値：“left”、“right”、“middle”
    • double（ブール値、オプション、デフォルト値：false）：ダブルクリックを実行するかどうか

• mouse_move

  • マウスを指定された座標に移動します。
  • 入力：
    • x（数値、必須）：X座標
    • y（数値、必須）：Y座標

リソースアクセス

このサーバーは、スクリーンショットへのアクセスを提供します。

1. スクリーンショットリスト (screenshot://list)

   • 利用可能なすべてのスクリーンショットの名前をリストします。

2. スクリーンショット内容 (screenshot://{id})

   • スクリーンショットのPNG画像です。
   • スクリーンショットID（タイムスタンプに基づいて命名されています）を使用することでアクセスできます。