Sharp

🚀 SHARP - 単眼視点合成

SHARPは、Apple ResearchによるAIモデルで、単一の2D写真を3Dガウシアンスプラット表現に変換します。これにより、写真から3Dシーンを生成し、リアルタイムでレンダリングすることができます。また、GPU上で1秒未満の推論時間で高速に動作し、微調整なしで任意の画像に対応します。

✨ SHARPとは？

SHARP (Sharp Monocular View Synthesis) は、Apple ResearchによるAIモデルで、単一の2D写真を3Dガウシアンスプラット表現に変換します。これにより、以下のことが可能になります。

• 写真から3Dへ: 任意の写真をインタラクティブな3Dシーンに変換
• リアルタイムレンダリング: 生成された3DGSをリアルタイムでレンダリング
• 超高速: GPU上で1秒未満の推論時間
• ゼロショット汎化: 微調整なしで任意の画像に対応

ユースケース

⚠️ 重要提示

SHARPは、小範囲の視点合成 (±15-30°) を生成し、完全な360°再構築ではありません。視差効果や深度認識レンダリングに最適です。

🚀 クイックスタート

Docker (推奨)

# イメージを取得して実行 (All-in-One, モデルを含めて約15GB)
docker run -d --gpus all -p 8080:8080 --name sharp neosun/sharp:latest

# Web UIにアクセス
open http://localhost:8080

# APIドキュメントにアクセス
open http://localhost:8080/docs

Docker Compose

version: '3.8'
services:
  sharp:
    image: neosun/sharp:latest
    container_name: sharp-service
    ports:
      - "8080:8080"
    environment:
      - GPU_IDLE_TIMEOUT=300
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]
    restart: unless-stopped

docker-compose up -d

📦 主な機能

このDockerイメージは、3つのインターフェースを提供します。

🌐 Web UI

http://localhost:8080 にアクセスすると、Webインターフェースを利用できます。

• ドラッグアンドドロップによる画像アップロード
• リアルタイム3Dプレビュー (ループビデオ)
• PLYおよびMP4ファイルのダウンロード
• GPUステータスの監視
• 多言語対応 (EN/中文)

📡 REST API

エンドポイント

例: 3Dシーンの生成

# 画像をアップロードして3Dを生成
curl -X POST http://localhost:8080/api/predict \
  -F "file=@photo.jpg" \
  -F "render_video=true"

# レスポンス
{
  "task_id": "abc123",
  "ply_url": "/api/files/abc123.ply",
  "video_url": "/api/files/abc123.mp4"
}

# 結果をダウンロード
curl -O http://localhost:8080/api/files/abc123.ply
curl -O http://localhost:8080/api/files/abc123.mp4

GPU管理

# GPUステータスを確認
curl http://localhost:8080/api/gpu/status
# {"device":"cuda","model_loaded":true,"gpu_memory_allocated_mb":2694}

# GPUメモリを解放
curl -X POST http://localhost:8080/api/gpu/offload
# {"status":"offloaded"}

🤖 MCP統合

SHARPには、AIアシスタントとの統合のためのMCP (Model Context Protocol) サーバーが含まれています。

設定

MCPクライアントの設定に追加します (例: Claude Desktop)。

{
  "mcpServers": {
    "sharp": {
      "command": "docker",
      "args": ["exec", "-i", "sharp-service", "python", "mcp_server.py"]
    }
  }
}

利用可能なツール

MCPの使用例

ユーザー: /path/to/image.jpg から3Dシーンを生成してください

アシスタント: その画像から3Dガウシアンスプラットを生成します。
[file_path="/path/to/image.jpg" でpredictツールを呼び出す]
結果: PLYファイルが /tmp/sharp/output/image.ply に保存されました

⚙️ 設定

環境変数

ハードウェア要件

📁 プロジェクト構造

sharp/
├── app.py              # Flask APIサーバー
├── gpu_manager.py      # GPUリソース管理
├── mcp_server.py       # MCPインターフェース
├── templates/          # Web UIテンプレート
├── static/             # フロントエンドアセット
├── src/sharp/          # コアモデルコード
├── Dockerfile          # コンテナ定義
└── docker-compose.yml  # Compose設定

🔧 技術詳細

• モデル: Apple SHARP (3Dガウシアンスプラッティング)
• バックエンド: Flask + Gunicorn
• GPU: CUDA 12.4 + PyTorch
• コンテナ: NVIDIA Docker
• MCP: FastMCP

📊 パフォーマンス

📝 変更履歴

v1.0.0 (2024-12-27)

• 初期リリース
• ビデオプレビュー付きのWeb UI
• Swaggerドキュメント付きのREST API
• MCPサーバー統合
• 自動GPUメモリ管理

📄 ライセンス

このプロジェクトは、Appleのサンプルコードライセンスを使用しています。詳細は LICENSE を参照してください。

🙏 謝辞

• Apple Research - SHARPモデル
• 3D Gaussian Splatting - レンダリング技術

⭐ スター履歴

📱 公众号关注