MCP Server Client Computer Use Ai Sdk

🚀 コンピューター使用AI SDK

• 私たちは、コンピューターを制御するMCPサーバーを構築しました。

• OpenAIのオペレーターやClaudeのコンピューター使用機能をご存知でしょう。今、オープンソースの代替品が登場しました。screenpipeのComputer Use SDKです。

• macOSでネイティブに動作します。仮想マシンを使用する必要がなく、制限もありません。任意のアプリケーションやウェブサイトと自由に組み合わせて使用できます。

• ピクセルレベルの面倒な作業はありません。このSDKは、デスクトップのレンダリング要素に基づいており、ピクセルベースのビジュアルモデルよりもはるかに高速かつ信頼性が高いです。

• 今、私たちのシンプルなHello Worldテンプレートから始めて、MCPサーバーとクライアントを使って独自のエージェントを構築できます。

• 私たちのMCPサーバーには、いくつかの即座に使えるツールが用意されています。

  • アプリケーションの起動
  • 内容の読み取り
  • クリック
  • テキストの入力
  • キーの押下

• これらは、AIがコンピューターを制御し、タスクを自動的に実行するための基本的な要素になります。あなたは何を構築しますか？すぐに https://screenpi.pe をご覧ください。

🚀 クイックスタート

git clone https://github.com/m13v/computer-use-ai-sdk.git
cd MCP-server-client-computer-use-ai-sdk

# Rustをインストールする（まだインストールされていない場合）
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
# Node.jsとnpmをインストールする（まだインストールされていない場合）
# https://nodejs.org/ にアクセスするか、nvmを使用します

# バックエンドサーバーを実行する
cd mcp-server-os-level
cargo run --bin server
# 実行状態を維持する

オプション1：コマンドラインインターフェイス

# 新しいターミナルでCLIインターフェイスクライアントを実行する（デバッグに適しています）
cd mcp-client-cli-interface
npm install  # まず依存関係をインストールする

# Anthropic APIキーを環境変数として設定する
export ANTHROPIC_API_KEY=sk-ant-xxxx  # xxxxを実際のAnthropic APIキーに置き換える
# Windowsの場合は、set ANTHROPIC_API_KEY=sk-ant-xxxxを使用する
# 永続的に設定するには、シェルの設定ファイル（.bashrc、.zshrcなど）に追加する
npx tsx main.ts

オプション2：Webアプリケーションインターフェイス

# 新しいターミナルでCLIインターフェイスクライアントを実行する（デバッグに適しています）
cd mcp-client-nextjs
npm install  # まず依存関係をインストールする

# コマンドラインでAPIキーを設定する
echo "ANTHROPIC_API_KEY=sk-ant-XXXXXXXX" > .env  # XXXXXXXXを実際のキーに置き換える
# または、他の環境変数を保持するために追記する
# echo "ANTHROPIC_API_KEY=sk-ant-XXXXXXXX" >> .env

npm run dev
# 提供されたlocalhostのウェブページを開く

✨ 主な機能

• カスタムワークフローエージェントを構築して、さまざまな操作を自動化することができます。
• ユーザー向けの使いやすいコンピューター自動化インターフェイスを構築することができます。
• ワークフローを保存し、cronで定期実行することができます。
• 他のMCPサーバーと組み合わせて、クールなタスクを実行することができます。たとえば、一日中会話した人の履歴を元にGoogleスプレッドシートを自動的に埋めることができます。

💻 使用例

エージェントがメッセージを送信する

https://github.com/user-attachments/assets/f8687500-9a8c-4a96-81b6-77562feff093

最新のWhatsAppメッセージを取得する

Arcブラウザを開く

📚 ドキュメント

何か質問や機能要求がある場合は、GitHubリポジトリで問題を提出してください。