lkevincc0(非公式ノード)/ 元研究: NVIDIA (NVlabs GEM-X)/2026-10
1本の動画から全身モーションを取り出し、Mixamo/Unreal/UnityのFBXキャラに適用するComfyUIノード。
普通のビデオ1本から人の全身の動きを読み取り、ComfyUIの中でMixamo、Unreal、Unityのキャラクターに付けて、そのまま3D表示で確認できます。モーションキャプチャ用のスーツやカメラを並べる必要がありません。NVIDIAの研究モデルGEM-Xが77個の関節の動きを出し、ノードが骨の名前から相手のキャラの骨組みを自動で判別して当てはめます。足の長さに合わせた移動量の調整や、その場で動くアニメーションへの切り替えもできます。広告では、撮影した振付動画をそのままCGキャラに踊らせる、ゲームエンジン向けの仮アニメーションを素早く作る、といった使い方が考えられます。AI生成映像と3Dキャラを組み合わせた企画の試作にも向きます。
仕組み: 動画から人物を追跡し、ViTPoseで77点のキーポイントを取り、SAM-3D-Bodyの特徴量も使って、GEMがSOMAという人体モデルの動きに変換します。その動きを、キャラクターFBXの骨に再配置(リターゲット)して、アニメーション付きのFBXとして書き出します。ノードは4つで、動画→SOMAモーション、FBXへのリターゲット、フレーム列の動画化、動画パスの指定です。動きは motion.npz としても保存でき、他のツールで再利用できます。 従来との違い: これまでは研究コードをコマンドラインで動かし、骨の対応づけは手作業でした。このノードでは、骨の名前の判定、Y-up/Z-upとTポーズ/Aポーズの揃え、指や補助ボーンの扱いまで自動化されています。書き出し後にアニメーションを読み戻して検証しますが、これは書き込みの正しさの確認で、動きの見た目の良し悪しは確認できません。主に1人だけを追い、カメラは固定という前提です。 使うには: NVIDIA GPU(CUDA)とComfyUI、約10GBのディスク(標準モード)が必要です。clone → pip install -r requirements.txt → python install.py の手順で、モデルは初回利用時に自動ダウンロードされます。リポジトリにはキャラ3体とサンプルワークフローが入っています。無料ですが、モデル重みのNVIDIA Open Model Licenseを事前に確認してください。
ノードのコードはApache-2.0。モデルの重みはNVIDIA Open Model License、同梱キャラはMixamo/Epic/Unityの各規約に従う。商用は各条項の確認が必要。
NVIDIAの単眼動画から3D人体の姿勢と動きを推定する元の研究実装。
GEM(人体モーション推定)の公式研究ページ。