Naturalpad Studio / jtydhr88/2026-11
写真・動画・ライブカメラに写る人物の3D体形とポーズを、1人あたり約1msで復元する軽量モデル。ComfyUI ノード版では GLB/BVH 書き出しやキャラ駆動、VMC 配信まで行える。
すごいのは、カメラ1台の映像から人の3D姿勢・体形・70点のキーポイントをほぼリアルタイムで取り出せる軽さです。2000〜3000万パラメータ級で、デスクトップGPUでは約1ミリ秒、スマホのNPUでも約5ミリ秒と報告されています。モーションキャプチャ用の専用スーツや複数カメラが要らず、Webカメラや手元の動画だけで人の動きを3Dデータにできます。広告・体験づくりでは、ダンサーや出演者の動きをBVHにしてBlenderやUEのキャラクターに当てる、来場者の全身の動きに反応するインスタレーション、VMC経由でVTuber風アバターを動かす、生成動画の人物ポーズの参照を作る、といった用途に向きます。ComfyUI の標準 SAM 3D Body と同じ形式なので、既存の平滑化・描画・書き出しの流れにそのままつながります。
仕組み:まず人物検出(RT-DETR や SAM3)で人の位置を囲み、その切り抜きから小さなニューラルネットが、体の関節角度・体形・画面上の位置・メッシュ(Meta の MHR という人体リグ)を一度の計算で推定します。さらに『キネマティックフィット』という仕上げで、推定した2Dキーポイントに合うよう姿勢を微調整します。たとえるなら、人形師が骨組みを素早く人に合わせて曲げ直す作業を、AIが1ミリ秒で行うイメージです。 従来との違い:同種の人体メッシュ推定は大型モデルが多く、実時間で動かすには強いGPUが必要でした。InstantHMR は nano〜medium の5サイズをONNX形式で公開し、CUDA・TensorRT・CPU・CoreML に対応します。2026-11-06の公開から数日で v1.1、PyTorch チェックポイントと更新が続いており、ComfyUI ノード版では静止画・動画・ライブカメラ用のサンプルワークフローが付属します。 使うには:単体なら Python 3.10〜3.12 と NVIDIA ドライバ525以上で、`python demo.py --video clip.mp4` のように実行すると Rerun ビューアで骨格と3Dが確認できます。ComfyUI で使う場合は v0.34.0 以降のネイティブ SAM 3D Body ノードと、models/detection に置く重みが必要です。費用は無料ですが、商用案件では必ず medium-commercial 重みを選んでください。他の重みは非商用限定です。スマホのカメラを使うには HTTPS の設定も要ります。
コードは Apache-2.0。重みは SAM License で、nano/tiny/small/medium は非商用のみ、medium-commercial だけ商用可。
ComfyUI 版ノードの機能と必要環境の解説。
動作・物理の予測を目的にした動画生成モデルを ComfyUI で動かすノード。