Mac Use

🚀 Overlord——Mac デバイスをコントロール

Overlord は、ローカルコンピューターに基づく AI プロジェクトで、macOS のネイティブコマンドとツールを直接使用して macOS システムを制御することができます。

⚠️ 重要提示

このプロジェクトには明らかなリスクがあります。Overlord はあなたの Mac を完全にコントロールすることができます。注意して操作してください。

✨ 主な機能

• ネイティブ macOS グラフィカルユーザーインターフェイスでの操作（Docker 不要）
• ネイティブ macOS コマンドを使用したスクリーンショット取得
• cliclick を通じたキーボードとマウスの制御
• 複数の LLM プロバイダー（Anthropic、Bedrock、Vertex）のサポート
• Streamlit ベースのインターフェイス
• 自動画面解像度スケーリング
• ファイルシステムの操作と編集機能

📦 インストール

前提条件

• macOS Sonoma 15.7 以上
• Python 3.12 以上
• Homebrew（追加の依存関係をインストールするため）
• cliclick（brew install cliclick でインストール）——キーボードとマウスの制御に必要

インストール手順

1. リポジトリをクローンしてディレクトリに移動します。

git clone https://github.com/hanzoai/overlord.git
cd overlord

2. 仮想環境を作成してアクティブ化します。

python3.12 -m venv venv
source venv/bin/activate

3. セットアップスクリプトを実行します。

chmod +x setup.sh
./setup.sh

4. Python の依存関係をインストールします。

pip install -r requirements.txt

💻 使用例

環境と Anthropic API キーの設定

1. .env ファイルに以下の内容を追加します。

API_PROVIDER=anthropic
ANTHROPIC_API_KEY=<key>
WIDTH=800
HEIGHT=600
DISPLAY_NUM=1

画面解像度を設定し（XGA/WXGA 解像度範囲を推奨）、Anthropic コンソールから取得したキーを追加します。 2. Streamlit アプリを起動します。

streamlit run streamlit.py

インターフェイスは http://localhost:8501 で利用できます。

画面解像度に関する注意事項

最適なパフォーマンスを得るために、以下の解像度を推奨します。

• XGA：1024x768（4:3）
• WXGA：1280x800（16:10）
• FWXGA：1366x768（~16:9）

より高い解像度は、モデルのパフォーマンスを最適化するためにこれらの目標解像度に自動的にスケーリングされます。環境変数を使用して解像度を設定することができます。

export WIDTH=1024
export HEIGHT=768
streamlit run streamlit.py

⚠️ 重要提示

この参考実装で使用されている Beta API は変更される可能性があります。最新情報については、API リリースノートを参照してください。