Jetsonmcp

🚀 JetsonMCP

JetsonMCP 是一個 MCP 服務器，它能將 AI 助手連接到 NVIDIA Jetson Nano 超級系統，實現全面的邊緣計算管理、AI 工作負載優化和系統管理。藉助 JetsonMCP，像 Claude 這樣的 AI 助手可以通過 SSH 連接幫助配置和管理 Jetson Nano 系統。用戶無需學習複雜的 CUDA 和 Linux 命令，只需用自然語言提問，就能完成從 AI 模型部署到系統優化等一系列操作。

🚀 快速開始

準備 Jetson Nano

# 若 SSH 未啟用，則啟用 SSH
sudo systemctl enable ssh
sudo systemctl start ssh

# 配置無密碼 sudo（系統管理需要）
sudo visudo
# 添加：yourusername ALL=(ALL) NOPASSWD:ALL

# 獲取 Jetson 的 IP 地址
hostname -I

安裝 JetsonMCP

# 克隆倉庫
git clone https://github.com/ajeetraina/jetsonMCP.git
cd jetsonMCP

# 創建虛擬環境
python3 -m venv venv
source venv/bin/activate

# 安裝依賴
pip install -e .

配置連接

# 複製配置模板
cp .env.example .env

# 使用 Jetson 的詳細信息進行編輯
nano .env

所需的 .env 設置：

JETSON_HOST=192.168.1.100        # 你的 Jetson 的 IP 地址
JETSON_USERNAME=your_username     # SSH 用戶名
JETSON_PASSWORD=your_password     # SSH 密碼（或使用 SSH 密鑰）
# JETSON_SSH_KEY_PATH=~/.ssh/id_rsa  # 可選：SSH 密鑰路徑

# 可選：高級配置
JETSON_POWER_MODE=0              # 0=MAXN, 1=5W, 2=10W
CUDA_VISIBLE_DEVICES=0           # GPU 設備選擇
DOCKER_REGISTRY=localhost:5000   # 用於邊緣部署的私有註冊表

集成 Claude Desktop

添加到你的 Claude Desktop 配置中：

• macOS：~/Library/Application Support/Claude/claude_desktop_config.json
• Windows：%APPDATA%\Claude\claude_desktop_config.json
• Linux：~/.config/Claude/claude_desktop_config.json

{
  "mcpServers": {
    "jetsonmcp": {
      "command": "python",
      "args": ["-m", "jetsonmcp.server"],
      "cwd": "/absolute/path/to/jetsonMCP"
    }
  }
}

重啟 Claude Desktop 以加載服務器。

✨ 主要特性

專為邊緣 AI 計算而構建

• CUDA 工具包管理與優化：自動設置和管理 CUDA 環境。
• JetPack SDK 集成與更新：管理 SDK 更新、組件安裝和版本控制。
• AI 框架安裝：支持 TensorFlow、PyTorch、TensorRT 等 AI 框架的安裝。
• 模型部署與推理優化：實現模型的自動化轉換、優化和服務。

特定硬件優化

• GPU 內存管理與監控：監控內存使用、利用率和性能指標。
• 電源模式配置：支持動態切換 10W/5W/MAXN 等電源模式。
• 溫度監控與熱節流：即時監控溫度並自動進行節流。
• 風扇曲線管理與散熱優化：自定義風扇曲線，優化散熱效果。

容器與編排

• AI 工作負載的 Docker 容器管理：管理 GPU 加速的容器運行時。
• NVIDIA 容器工具包集成：確保容器能夠充分利用 GPU 資源。
• Kubernetes 邊緣部署支持：支持 K3s 邊緣編排。
• 多架構容器支持：管理和部署 ARM64 容器。

📦 安裝指南

前提條件

Jetson Nano 設置

1. 全新安裝 JetPack（建議 4.6 及以上版本）
2. 啟用 SSH 訪問
3. 充足的電源供應（建議 5V/4A 以實現全性能）
4. MicroSD 卡（建議 64GB 及以上）或 NVMe SSD
5. 網絡連接：用於安裝軟件包

網絡配置

• 建議使用靜態 IP 以確保穩定訪問
• 配置防火牆以允許 SSH（端口 22）
• 可選：設置 VPN 以實現遠程訪問

安裝步驟

請參考快速開始部分的安裝步驟。

💻 使用示例

基礎用法

自然語言請求通過 Claude Desktop 經 MCP 協議轉換為優化命令，在你的 Jetson Nano 上執行。

AI 與機器學習操作示例

• "部署 YOLOv5 模型進行目標檢測" - 下載、優化並運行推理
• "檢查 CUDA 內存使用情況" - 監控 GPU 利用率和內存分配
• "切換到 5W 電源模式" - 優化電池供電時的功耗
• "安裝 TensorRT 優化" - 設置高性能推理引擎

系統管理示例

• "在運行推理時監控 GPU 溫度" - 即時熱監控
• "將 JetPack 更新到最新版本" - 管理 NVIDIA 軟件棧更新
• "為 AI 工作負載優化 Docker" - 配置運行時以實現 GPU 加速

邊緣計算示例

• "部署輕量級 Kubernetes 集群" - 設置 K3s 進行邊緣編排
• "配置遠程模型服務" - 設置推理端點
• "在 AI 任務期間監控系統資源" - 性能分析和優化

高級用法

# 電源管理
# 可用電源模式
# 0: MAXN (15W) - 最大性能
# 1: 5W - 節能模式
# 2: 10W - 平衡模式
sudo nvpmodel -m 1  # 切換到 5W 模式

# CUDA 環境
# 驗證 CUDA 安裝
nvcc --version
nvidia-smi

# 設置 CUDA 路徑（由 JetsonMCP 自動配置）
export PATH=/usr/local/cuda/bin:$PATH
export LDFLAGS=-L/usr/local/cuda/lib64:$LDFLAGS

# Docker GPU 支持
# NVIDIA 容器工具包（由 JetsonMCP 管理）
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list

📚 詳細文檔

可用工具

AI 與機器學習管理

• manage_ai_workloads - 管理模型部署、推理優化和 CUDA 管理。
• manage_jetpack - 管理 JetPack SDK 的安裝、更新和組件。
• manage_frameworks - 安裝 TensorFlow、PyTorch、OpenCV、TensorRT 等框架。

硬件控制

• manage_hardware - 控制電源模式、溫度監控、風扇和 GPIO。
• manage_performance - 管理 CPU/GPU 調節器、頻率縮放和熱管理。
• manage_storage - 優化 SSD、配置交換空間和管理磁盤。

容器操作

• manage_containers - 管理 Docker 容器、NVIDIA 運行時和 GPU 加速。
• manage_orchestration - 部署 Kubernetes/K3s 集群，設置邊緣計算。
• manage_registry - 設置私有註冊表，管理多架構鏡像。

系統管理

• manage_system - 管理軟件包、更新、服務控制和網絡。
• manage_security - 配置防火牆、SSH 密鑰、用戶管理和系統加固。
• manage_monitoring - 監控系統指標、日誌記錄、警報和遠程監控。

高級配置

電源管理

# 可用電源模式
# 0: MAXN (15W) - 最大性能
# 1: 5W - 節能模式
# 2: 10W - 平衡模式
sudo nvpmodel -m 1  # 切換到 5W 模式

CUDA 環境

# 驗證 CUDA 安裝
nvcc --version
nvidia-smi

# 設置 CUDA 路徑（由 JetsonMCP 自動配置）
export PATH=/usr/local/cuda/bin:$PATH
export LDFLAGS=-L/usr/local/cuda/lib64:$LDFLAGS

Docker GPU 支持

# NVIDIA 容器工具包（由 JetsonMCP 管理）
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list

測試與開發

運行測試

# 運行所有測試
make test

# 特定組件測試
make test-ai          # AI 工作負載管理
make test-hardware    # 硬件控制
make test-containers  # 容器操作
make test-system      # 系統管理

# 集成測試
python run_tests.py --integration --coverage

開發設置

# 安裝開發依賴
pip install -e ".[dev]"

# 預提交鉤子
pre-commit install

# 代碼格式化
black jetsonmcp/
isort jetsonmcp/

# 類型檢查
mypy jetsonmcp/

監控與可觀測性

系統指標

• CPU/GPU 利用率 - 即時監控性能。
• 內存使用情況 - 跟蹤 RAM 和 GPU 內存。
• 溫度傳感器 - 監控溫度併發出警報。
• 功耗 - 顯示當前電源模式和使用指標。

AI 工作負載指標

• 推理延遲 - 對模型性能進行基準測試。
• 吞吐量 - 計算部署模型的每秒請求數。
• 資源利用率 - 評估 GPU 內存和計算效率。
• 模型準確率 - 驗證和監控模型性能。

安全特性

SSH 安全

• 主機密鑰驗證和輪換
• 連接超時和重試邏輯
• 憑證管理和清理
• 所有操作的審計日誌記錄

容器安全

• 鏡像漏洞掃描
• 運行時安全策略
• 網絡隔離和分段
• AI 模型的機密管理

系統加固

• 防火牆配置管理
• 用戶權限分離
• 系統更新自動化
• 安全補丁監控

🔧 技術細節

JetsonMCP 通過 MCP 協議將自然語言請求轉換為優化命令，在 Jetson Nano 上執行。它集成了 CUDA 工具包、JetPack SDK 等，實現了對 AI 工作負載、硬件資源和容器的全面管理。同時，它還提供了豐富的安全特性，確保系統的安全性和穩定性。

🚀 使用場景

邊緣 AI 開發

• AI 應用的快速原型開發：加速 AI 應用的開發過程。
• 模型優化與基準測試：提高模型性能。
• 分佈式推理部署：實現高效的推理服務。
• 即時計算機視覺應用：支持即時視覺處理。

IoT 與傳感器網絡

• 傳感器數據處理與分析：處理和分析傳感器數據。
• 邊緣計算編排：優化邊緣計算資源。
• 遠程設備管理：實現對遠程設備的有效管理。
• 預測性維護系統：提前預測設備故障。

工業應用

• 質量控制與檢查：確保產品質量。
• 預測性分析：為決策提供數據支持。
• 自主系統開發：推動自主系統的發展。
• 工業 IoT 集成：實現工業設備的互聯互通。

🤝 貢獻

我們歡迎貢獻！請參閱 CONTRIBUTING.md 獲取貢獻指南。

開發優先級

1. AI 框架集成：支持更多的機器學習框架。
2. 邊緣編排：實現更高級的 Kubernetes 邊緣部署。
3. 硬件抽象：支持其他 Jetson 平臺（如 AGX、Xavier）。
4. 監控增強：提供更高級的遙測和可觀測性。