MCP Server Client Computer Use Ai Sdk

Screenpipe開發的Computer Use AI SDK是一個開源項目，提供MCP服務器和客戶端，用於通過AI控制電腦操作。它支持原生macOS環境，無需虛擬機，可直接與任何應用或網站交互，提供啟動應用、讀取內容、點擊、輸入文本等基礎功能，旨在構建自動化工作流和智能代理。

操作系統自動化開發者工具 #AI控制 #macOS原生 #自動化 #開源SDK .Rust

評分 : 2分

下載量 : 15

更新時間 : 2025-04-29

什麼是計算機使用AI SDK？

這是一款開源工具，允許AI通過MCP服務器控制你的電腦，完成各種任務，如打開應用程序、讀取內容、點擊按鈕、輸入文字等。

如何使用計算機使用AI SDK？

首先安裝必要的軟件，然後運行MCP服務器和客戶端，最後配置API密鑰並開始編寫和執行自動化腳本。

適用場景

適用於需要自動化日常電腦操作的用戶，例如批量處理文件、自動回覆消息等。

主要功能

啟動應用程序通過MCP服務器啟動任何支持的應用程序。

讀取內容從屏幕上讀取文本或其他元素內容。

點擊模擬鼠標點擊屏幕上的指定位置。

輸入文字在指定區域輸入文本。

按鍵模擬鍵盤按鍵操作。

優勢與侷限性

優勢

無需虛擬機即可直接運行在macOS上

基於桌面渲染元素，比像素級視覺模型更快更可靠

完全開源且無限制

侷限性

需要一定的技術基礎來設置和使用

某些高級功能可能依賴特定硬件配置

如何使用

克隆代碼倉庫

通過Git克隆項目代碼到本地。

安裝Rust

確保系統已安裝Rust編程語言。

啟動MCP服務器

進入MCP服務器目錄並運行服務器。

配置環境變量

設置Anthropic API密鑰作為環境變量。

運行客戶端

啟動CLI或Web客戶端並測試連接。

使用案例

發送一條WhatsApp消息編寫一個腳本，自動向聯繫人發送一條預設的消息。

獲取最新的WhatsApp消息讀取最新接收到的WhatsApp消息內容。

打開Arc瀏覽器通過MCP服務器啟動Arc瀏覽器。

常見問題

如何安裝Rust？

是否支持Windows系統？

如何設置API密鑰？

🚀 計算機使用 AI SDK

計算機使用 AI SDK 是一款強大的工具，它構建了控制計算機的 MCP 服務器，為 AI 控制計算機提供了開源的解決方案。該 SDK 可在 macOS 上本機運行，擺脫了像素級別的繁瑣操作，能讓你自由結合各類應用程序或網站，輕鬆構建屬於自己的代理。

🚀 快速開始

克隆項目

git clone https://github.com/m13v/computer-use-ai-sdk.git
cd MCP-server-client-computer-use-ai-sdk

安裝依賴

# 安裝Rust（如果尚未安裝）
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
# 安裝Node.js和npm（如果尚未安裝）
# 訪問 https://nodejs.org/ 或使用nvm

運行後端服務器

# 運行後端服務器
cd mcp-server-os-level
cargo run --bin server
# 保持運行狀態

客戶端運行方式

選項 1：命令行界面

# 在新終端中運行CLI界面客戶端（適合調試）
cd mcp-client-cli-interface
npm install  # 首先安裝依賴項

# 設置Anthropic API密鑰作為環境變量
export ANTHROPIC_API_KEY=sk-ant-xxxx  # 將xxxx替換為你的實際Anthropic API密鑰
# 對於Windows，請使用：set ANTHROPIC_API_KEY=sk-ant-xxxx
# 想要永久設置，請將其添加到shell配置文件（.bashrc, .zshrc等）
npx tsx main.ts

選項 2：Web 應用程序界面

# 在新終端中運行CLI界面客戶端（適合調試）
cd mcp-client-nextjs
npm install  # 首先安裝依賴項

# 通過命令行設置API密鑰
echo "ANTHROPIC_API_KEY=sk-ant-XXXXXXXX" > .env  # 將XXXXXXXX替換為你的實際密鑰
# 或追加以保留其他環境變量
# echo "ANTHROPIC_API_KEY=sk-ant-XXXXXXXX" >> .env

npm run dev
# 打開提供的localhost網頁