ResearchMan← Technology
InstantHMR (ComfyUI-InstantHMR)
Tool条件付き (Apache-2.0)#Motion/Body#CreatorTools#GenVideo

InstantHMR (ComfyUI-InstantHMR)

Naturalpad Studio / jtydhr88/2026-11

Overview

写真・動画・ライブカメラに写る人物の3D体形とポーズを、1人あたり約1msで復元する軽量モデル。ComfyUI ノード版では GLB/BVH 書き出しやキャラ駆動、VMC 配信まで行える。

技術のポイント

すごいのは、カメラ1台の映像から人の3D姿勢・体形・70点のキーポイントをほぼリアルタイムで取り出せる軽さです。2000〜3000万パラメータ級で、デスクトップGPUでは約1ミリ秒、スマホのNPUでも約5ミリ秒と報告されています。モーションキャプチャ用の専用スーツや複数カメラが要らず、Webカメラや手元の動画だけで人の動きを3Dデータにできます。広告・体験づくりでは、ダンサーや出演者の動きをBVHにしてBlenderやUEのキャラクターに当てる、来場者の全身の動きに反応するインスタレーション、VMC経由でVTuber風アバターを動かす、生成動画の人物ポーズの参照を作る、といった用途に向きます。ComfyUI の標準 SAM 3D Body と同じ形式なので、既存の平滑化・描画・書き出しの流れにそのままつながります。

技術の詳細

仕組み:まず人物検出(RT-DETR や SAM3)で人の位置を囲み、その切り抜きから小さなニューラルネットが、体の関節角度・体形・画面上の位置・メッシュ(Meta の MHR という人体リグ)を一度の計算で推定します。さらに『キネマティックフィット』という仕上げで、推定した2Dキーポイントに合うよう姿勢を微調整します。たとえるなら、人形師が骨組みを素早く人に合わせて曲げ直す作業を、AIが1ミリ秒で行うイメージです。 従来との違い:同種の人体メッシュ推定は大型モデルが多く、実時間で動かすには強いGPUが必要でした。InstantHMR は nano〜medium の5サイズをONNX形式で公開し、CUDA・TensorRT・CPU・CoreML に対応します。2026-11-06の公開から数日で v1.1、PyTorch チェックポイントと更新が続いており、ComfyUI ノード版では静止画・動画・ライブカメラ用のサンプルワークフローが付属します。 使うには:単体なら Python 3.10〜3.12 と NVIDIA ドライバ525以上で、`python demo.py --video clip.mp4` のように実行すると Rerun ビューアで骨格と3Dが確認できます。ComfyUI で使う場合は v0.34.0 以降のネイティブ SAM 3D Body ノードと、models/detection に置く重みが必要です。費用は無料ですが、商用案件では必ず medium-commercial 重みを選んでください。他の重みは非商用限定です。スマホのカメラを使うには HTTPS の設定も要ります。

License

コードは Apache-2.0。重みは SAM License で、nano/tiny/small/medium は非商用のみ、medium-commercial だけ商用可。

Sources

Related Works