Sharp

🚀 SHARP - 單目視圖合成

SHARP（Sharp Monocular View Synthesis）是蘋果研究團隊推出的一款AI模型，它能夠在不到一秒的時間內，將單張2D照片轉換為3D高斯點雲（3D Gaussian Splat）表示，從而生成交互式3D場景。

English | 簡體中文 | 繁體中文 | 日本語

✨ SHARP 是什麼？

SHARP 是蘋果研究團隊開發的一個AI模型，它可以將單張2D照片轉換為3D高斯點雲表示，具備以下能力：

• 照片轉3D：將任意照片轉換為交互式3D場景。
• 即時渲染：生成的3DGS可以即時渲染。
• 超快速：在GPU上推理時間少於1秒。
• 零樣本泛化：無需微調即可處理任何圖像。

應用場景

⚠️ 重要提示：SHARP 生成的是小範圍視圖合成（±15 - 30°），並非完整的360°重建，適用於視差效果和深度感知渲染。

🚀 快速開始

Docker（推薦）

# 拉取並運行（一體化，包含模型約15GB）
docker run -d --gpus all -p 8080:8080 --name sharp neosun/sharp:latest

# 訪問Web界面
open http://localhost:8080

# API文檔
open http://localhost:8080/docs

Docker Compose

version: '3.8'
services:
  sharp:
    image: neosun/sharp:latest
    container_name: sharp-service
    ports:
      - "8080:8080"
    environment:
      - GPU_IDLE_TIMEOUT=300
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]
    restart: unless-stopped

docker-compose up -d

📦 主要特性

此Docker鏡像提供了三個接口：

🌐 Web界面

訪問 http://localhost:8080 可使用Web界面：

• 支持拖放式圖像上傳。
• 即時3D預覽（循環視頻）。
• 下載PLY和MP4文件。
• GPU狀態監控。
• 多語言支持（英語/中文）。

📡 REST API

端點

示例：生成3D場景

# 上傳圖像並生成3D
curl -X POST http://localhost:8080/api/predict \
  -F "file=@photo.jpg" \
  -F "render_video=true"

# 響應
{
  "task_id": "abc123",
  "ply_url": "/api/files/abc123.ply",
  "video_url": "/api/files/abc123.mp4"
}

# 下載結果
curl -O http://localhost:8080/api/files/abc123.ply
curl -O http://localhost:8080/api/files/abc123.mp4

GPU管理

# 檢查GPU狀態
curl http://localhost:8080/api/gpu/status
# {"device":"cuda","model_loaded":true,"gpu_memory_allocated_mb":2694}

# 釋放GPU內存
curl -X POST http://localhost:8080/api/gpu/offload
# {"status":"offloaded"}

🤖 MCP集成

SHARP 包含一個MCP（模型上下文協議）服務器，用於AI助手集成。

配置

添加到你的MCP客戶端配置（例如，Claude Desktop）：

{
  "mcpServers": {
    "sharp": {
      "command": "docker",
      "args": ["exec", "-i", "sharp-service", "python", "mcp_server.py"]
    }
  }
}

可用工具

MCP使用示例

用戶：從 /path/to/image.jpg 生成一個3D場景

助手：我將從該圖像生成一個3D高斯點雲。
[調用predict工具，文件路徑為 "/path/to/image.jpg"]
結果：PLY文件保存到 /tmp/sharp/output/image.ply

⚙️ 配置

環境變量

硬件要求

📁 項目結構

sharp/
├── app.py              # Flask API服務器
├── gpu_manager.py      # GPU資源管理
├── mcp_server.py       # MCP接口
├── templates/          # Web UI模板
├── static/             # 前端資源
├── src/sharp/          # 核心模型代碼
├── Dockerfile          # 容器定義
└── docker-compose.yml  # Compose配置

🔧 技術棧

• 模型：蘋果SHARP（3D高斯點雲）
• 後端：Flask + Gunicorn
• GPU：CUDA 12.4 + PyTorch
• 容器：NVIDIA Docker
• MCP：FastMCP

📊 性能

📝 更新日誌

v1.0.0 (2024-12-27)

• 初始版本發佈。
• 帶有視頻預覽的Web UI。
• 帶有Swagger文檔的REST API。
• MCP服務器集成。
• 自動GPU內存管理。

📄 許可證

本項目使用蘋果的示例代碼許可證。詳情請參閱 LICENSE。

🙏 致謝

• Apple Research - SHARP模型
• 3D Gaussian Splatting - 渲染技術

⭐ 星標歷史

📱 關注公眾號