Screenpilot

🚀 スクリーンコントロールエキスパート

MCPサーバーにより、大規模言語モデルがあなたのデバイスを完全に制御できるようになります。また、グラフィカルユーザーインターフェイスを制御および操作するための画面自動化ツールキットも提供します。自動化、教育、エンターテインメントなどの分野で利用できます。

✨ 主な機能

• 📷 画面キャプチャと分析
• 🖱️ マウス制御（クリック、位置指定）
• ⌨️ キーボード入力（タイピング、キー押下、ホットキー）

📦 インストール

0. Python 3.12をインストールします。
1. リポジトリをクローンします。

git clone https://github.com/Mtehabsim/ScreenPilot.git

2. 仮想環境を作成します。

python -m venv venv

3. 仮想環境をアクティブ化します。

venv\Scripts\activate

4. 必要なパッケージをインストールします。

pip install -r requirements.txt

5. Claude AIデスクトップを開きます。
6. 「ファイル」 -> 「設定」 -> 「開発者」 -> 「設定を編集」を選択します。
7. 設定ファイルを開き、以下の内容を貼り付けます。

{
    "mcpServers": {
        "device-controll": {
            "command": "pathToEnv\\venv\\Scripts\\python.exe",
            "args": [
                "pathToProject\\ScreenPilot\\main.py"
            ]
        }
    }
}

8. 以下の内容を置き換えます。 “pathToEnv\\venv\\Scripts\\python.exe” → あなたのpython.exeの完全なパス “pathToProject\\ScreenPilot\\main.py” → あなたのmain.pyファイルの完全なパス

9. 設定ファイルを保存します。

10. Claude AIデスクトップを開きます。

11. 「ファイル」 -> 「終了」を選択します。

12. これで、Claude AIデスクトップを開き、ScreenPilotを利用できます。

利用可能なツール

• 画面キャプチャ：画面をキャプチャし、画面情報を取得します。
• マウス制御：マウスを移動させ、クリックを実行します。
• キーボード操作：テキストを入力し、キーを押下し、ホットキーを使用します。
• スクロール：さまざまな方向や特定の位置でスクロールします。
• 要素検出：画面上に要素が存在するかどうかを確認し、その出現を待ちます。
• アクションシーケンス：複数のアクションを順番に実行します。

🤝 コントリビューション

コントリビューションを歓迎します！自由にPull Requestを送信してください。