MCP Server Client Computer Use Ai Sdk

Screenpipeによって開発されたComputer Use AI SDKは、オープンソースプロジェクトで、MCPサーバーとクライアントを提供し、AIによるコンピューター操作の制御を可能にします。macOSネイティブ環境をサポートし、仮想マシンを必要とせず、任意のアプリケーションやウェブサイトと直接やり取りできます。アプリケーションの起動、内容の読み取り、クリック、テキストの入力などの基本機能を提供し、自動化ワークフローやインテリジェントエージェントの構築を目的としています。

オペレーティングシステム自動化開発者ツール #AI制御 #macOSネイティブ #自動化 #オープンソースSDK .Rust

スコア : 2ポイント

ダウンロード数 : 16

更新時間 : 2025-04-29

コンピューターでAI SDKを使用するとは？

これはオープンソースツールで、AIがMCPサーバーを介してコンピューターを制御し、アプリケーションの起動、内容の読み取り、ボタンのクリック、文字の入力など、さまざまなタスクを実行できます。

コンピューターでAI SDKを使用する方法は？

まず必要なソフトウェアをインストールし、次にMCPサーバーとクライアントを起動し、最後にAPIキーを設定して自動化スクリプトの作成と実行を開始します。

適用シナリオ

日常のコンピューター操作を自動化する必要があるユーザーに適しています。例えば、ファイルの一括処理、メッセージの自動返信などです。

主要機能

アプリケーションを起動するMCPサーバーを介して、サポートされている任意のアプリケーションを起動します。

内容を読み取る画面からテキストやその他の要素の内容を読み取ります。

クリックする画面上の指定された位置をマウスでクリックする動作をシミュレートします。

文字を入力する指定された領域にテキストを入力します。

キーを押すキーボードのキー操作をシミュレートします。

利点と制限

利点

仮想マシンを必要とせず、macOS上で直接実行できます。

デスクトップのレンダリング要素に基づいているため、ピクセルレベルのビジュアルモデルよりも高速かつ信頼性が高いです。

完全にオープンソースで制限がありません。

制限

設定と使用には一定の技術的な知識が必要です。

一部の高度な機能は特定のハードウェア構成に依存する場合があります。

使用方法

コードリポジトリをクローンする

Gitを使用して、プロジェクトのコードをローカルにクローンします。

Rustをインストールする

システムにRustプログラミング言語がインストールされていることを確認します。

MCPサーバーを起動する

MCPサーバーのディレクトリに移動し、サーバーを起動します。

環境変数を設定する

Anthropic APIキーを環境変数として設定します。

クライアントを実行する

CLIまたはWebクライアントを起動し、接続をテストします。

使用例

WhatsAppメッセージを送信するスクリプトを作成し、連絡先に事前に設定されたメッセージを自動的に送信します。

最新のWhatsAppメッセージを取得する最新の受信したWhatsAppメッセージの内容を読み取ります。

Arcブラウザを開くMCPサーバーを介してArcブラウザを起動します。

よくある質問

Rustをインストールする方法は？

Windowsシステムはサポートされていますか？

APIキーを設定する方法は？

🚀 コンピューター使用AI SDK

私たちは、コンピューターを制御するMCPサーバーを構築しました。
OpenAIのオペレーターやClaudeのコンピューター使用機能をご存知でしょう。今、オープンソースの代替品が登場しました。screenpipeのComputer Use SDKです。
macOSでネイティブに動作します。仮想マシンを使用する必要がなく、制限もありません。任意のアプリケーションやウェブサイトと自由に組み合わせて使用できます。
ピクセルレベルの面倒な作業はありません。このSDKは、デスクトップのレンダリング要素に基づいており、ピクセルベースのビジュアルモデルよりもはるかに高速かつ信頼性が高いです。
今、私たちのシンプルなHello Worldテンプレートから始めて、MCPサーバーとクライアントを使って独自のエージェントを構築できます。
私たちのMCPサーバーには、いくつかの即座に使えるツールが用意されています。
- アプリケーションの起動
- 内容の読み取り
- クリック
- テキストの入力
- キーの押下
これらは、AIがコンピューターを制御し、タスクを自動的に実行するための基本的な要素になります。あなたは何を構築しますか？すぐに https://screenpi.pe をご覧ください。

🚀 クイックスタート

git clone https://github.com/m13v/computer-use-ai-sdk.git
cd MCP-server-client-computer-use-ai-sdk

# Rustをインストールする（まだインストールされていない場合）
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
# Node.jsとnpmをインストールする（まだインストールされていない場合）
# https://nodejs.org/ にアクセスするか、nvmを使用します

# バックエンドサーバーを実行する
cd mcp-server-os-level
cargo run --bin server
# 実行状態を維持する

オプション1：コマンドラインインターフェイス

# 新しいターミナルでCLIインターフェイスクライアントを実行する（デバッグに適しています）
cd mcp-client-cli-interface
npm install  # まず依存関係をインストールする

# Anthropic APIキーを環境変数として設定する
export ANTHROPIC_API_KEY=sk-ant-xxxx  # xxxxを実際のAnthropic APIキーに置き換える
# Windowsの場合は、set ANTHROPIC_API_KEY=sk-ant-xxxxを使用する
# 永続的に設定するには、シェルの設定ファイル（.bashrc、.zshrcなど）に追加する
npx tsx main.ts

オプション2：Webアプリケーションインターフェイス

# 新しいターミナルでCLIインターフェイスクライアントを実行する（デバッグに適しています）
cd mcp-client-nextjs
npm install  # まず依存関係をインストールする

# コマンドラインでAPIキーを設定する
echo "ANTHROPIC_API_KEY=sk-ant-XXXXXXXX" > .env  # XXXXXXXXを実際のキーに置き換える
# または、他の環境変数を保持するために追記する
# echo "ANTHROPIC_API_KEY=sk-ant-XXXXXXXX" >> .env

npm run dev
# 提供されたlocalhostのウェブページを開く

✨ 主な機能

カスタムワークフローエージェントを構築して、さまざまな操作を自動化することができます。
ユーザー向けの使いやすいコンピューター自動化インターフェイスを構築することができます。
ワークフローを保存し、cronで定期実行することができます。
他のMCPサーバーと組み合わせて、クールなタスクを実行することができます。たとえば、一日中会話した人の履歴を元にGoogleスプレッドシートを自動的に埋めることができます。