Scenic MCP Experimental

🚀 Scenic MCP - Scenicアプリケーション用入力コントロール

Model Context Protocol (MCP)サーバーで、Scenic GUIアプリケーションに外部のキーボードとマウスの入力を注入できます。

✨ 主な機能

• キーボード入力：Scenicアプリケーションにテキストと特殊キーを送信します。
• マウスコントロール：カーソルを移動し、特定の座標でクリックします。
• MCP統合：任意のMCP互換クライアント（Claude Desktopなど）と連携します。
• リアルタイム通信：低遅延入力のためのTCPベースの接続を使用します。
• Scenic互換：適切なScenic ViewPort入力ルーティングを使用します。

📦 インストール

1. Scenicアプリケーションのmix.exsに追加します：

defp deps do
  [
    {:scenic_mcp, path: "../scenic_mcp"}
  ]
end

2. アプリケーションの監視ツリーに追加します：

実際にはこれを行う必要はないはずです...

3. Node.jsの依存関係をインストールします：

cd scenic_mcp
npm install

💻 使用例

MCPツール

サーバーは以下のMCPツールを提供します。

connect_scenic

Scenicアプリケーションへの接続をテストします。

get_scenic_status

サーバーの状態と利用可能なコマンドを確認します。

send_keys

Scenicアプリケーションにキーボード入力を送信します。

パラメータ：

• text (文字列)：入力するテキスト（各文字は個別のキー押下として送信されます）
• key (文字列)：特殊キー名（enter、escape、tab、backspace、delete、up、down、left、right、home、end、page_up、page_down、f1 - f12）
• modifiers (配列)：修飾キー（ctrl、shift、alt、cmd、meta）

send_mouse_move

マウスカーソルを特定の座標に移動します。

パラメータ：

• x (数値)：X座標
• y (数値)：Y座標

send_mouse_click

特定の座標でマウスをクリックします。

パラメータ：

• x (数値)：X座標
• y (数値)：Y座標
• button (文字列)：マウスボタン（left、right、middle） - デフォルト: left

基本的な使用法

# テキストを送信する
{
  "action": "send_keys",
  "text": "hello world"
}

# 特殊キーを送信する
{
  "action": "send_keys", 
  "key": "enter"
}

# 修飾キー付きのキーを送信する
{
  "action": "send_keys",
  "key": "c",
  "modifiers": ["ctrl"]
}

# マウスを移動する
{
  "action": "send_mouse_move",
  "x": 100,
  "y": 200
}

# マウスをクリックする
{
  "action": "send_mouse_click",
  "x": 150,
  "y": 250,
  "button": "left"
}

🔧 技術詳細

MCP Client (Claude Desktop)
    ↓
TypeScript MCP Server (scenic_mcp)
    ↓ (TCPポート9999)
Elixir GenServer Bridge
    ↓ (Scenic.ViewPort.Input.send/2)
Scenic ViewPort
    ↓
Your Scenic Application

📚 ドキュメント

開発

Elixirサーバーを起動します：

cd your_scenic_app
mix run --no-halt

MCPサーバーをテストします：

cd scenic_mcp
node src/index.ts

要件

• Elixir/OTP 24+
• Node.js 18+
• Scenic 0.11+

📄 ライセンス

MITライセンス