ResearchMan← Technology
FlowHMR
Research研究用途のみ#Motion/Body#AI/Agents

FlowHMR

FlowHMR authors(Zhanke Wang, Chengfeng Zhao, Qing Shuai ほか)/2026-10

Overview

1台のカメラで撮った普通の動画から、足が滑らず物理的に自然な3D人体モーションを取り出すモーションキャプチャ用の生成モデル。推論コード、チェックポイント、Web デモが公開済み。

技術のポイント

従来、動画から人の動きを3Dで取り出す手法は、足が地面を滑ったり体が床にめり込んだりして、そのままではゲームやロボットに使えないことが多くありました。FlowHMRはこの問題を、物理シミュレーションの結果を「ご褒美」にした追加学習(GRPO)で解決しています。公式ページでは、82.47%の動きが物理シミュレーション上でも倒れずに再現できたと報告されています。広告・体験づくりでは、スマホで撮った1本の動画や、動画生成AIで作った映像から、そのままCGキャラクターのアニメーションを起こせる可能性があります。公式ページはロボットへの転用例(Unitree G1)も紹介しているので、ダンスやパフォーマンスの動きを実機のロボットに踊らせる演出の素材づくりにも向きます。高価なモーションキャプチャスタジオなしで「動き」を作る入口として注目できます。

技術の詳細

仕組みは、複数の部品をつないだパイプラインです。まず YOLOX が映像から人を見つけ、VGGT-Omega がカメラの位置や向きを推定し、SAM 3D Body が体の特徴を抜き出します。FlowHMR 本体は、それらを手がかりに時間方向の動きを一気に生成します。生成にはフローマッチングという、ノイズから少しずつ正解の動きへ「流れていく」方式を使っています。その後、物理シミュレータ上でキャラクターが倒れずに動きを再現できるかを採点し、高得点の動きを学習で強めます。これが GRPO による後処理です。従来の手法は「見た目が映像と合うか」だけを重視していましたが、本手法は「実際に立っていられるか」まで学習に含める点が違います。 公式ページには、ロボット(Unitree G1)への動き転送、シーン再構築とキャラクター位置合わせ、テキストから動画を作ってからモーションを取り出す例が載っています。 使うには、基本の動画→モーション変換(V2M)で Python 3.10 と PyTorch 2.5.1(CUDA 11.8)の環境が必要です。物理検証まで含めるフルパイプラインは Isaac Gym Preview 4 を要し、Python 3.8 の別環境になります。モデルは Hugging Face(0.46B パラメータ、base と latest の2種)で配布され、latest が推奨です。ライセンスは研究・非営利のみで、商用案件では使えません。合成データ生成コードと評価データは今後公開の予定です。

License

独自LICENSE。教育・研究・非営利目的に限り使用・複製・改変・配布を許可(LICENSE本文で確認)。商用利用は不可

Sources

Related Works