ResearchMan← Technology
Expressive Motion (Learning Expressive Humanoid Locomotion from Monocular Runway Videos for Robot Fashion Shows)
Research条件付き (MIT)#Motion/Body#HCI/MediaArt

Expressive Motion (Learning Expressive Humanoid Locomotion from Monocular Runway Videos for Robot Fashion Shows)

Advanced Telerobotics Research Lab, Kent State University / Vilnius University/2026-09

Overview

ファッションショーのランウェイ映像1本から人間の歩き方の「らしさ」をヒューマノイドロボットBooster K1に転写し、実機で20回連続無転倒のキャットウォークを再現したパイプライン。

技術のポイント

すごさは、モデルの歩き方をスマホ動画1本から抽出し、そのままロボットの脚に「移植」できる点です。専用モーションキャプチャスタジオもマーカーも不要で、ランウェイ映像から3D姿勢を復元し(GVHMR)、ロボットの関節構造に変換し(GMR)、シミュレーションで調整してから実機に転送します。実際にBooster K1という等身大ヒューマノイドロボットに歩かせたところ、20回すべて転倒せず、モデル特有のつま先を一直線に置く狭い歩幅や腕・胴体の連動まで再現できました。広告・体験づくりの観点では、ロボットに単に歩かせるだけでなく「その人らしい歩き方」「ブランドが求める所作」を映像1本から学習させられることを意味します。実店舗やイベントでロボットモデルにランウェイを歩かせる企画、著名人の動きを模したパフォーマンスロボット、デジタルヒューマンの歩行モーションを実写から素早く量産する用途などに応用できそうです。ただし研究非商用ライセンスの部品に依存しており、商用展開には別途ライセンス取得と実機・GPU環境が必要です。

技術の詳細

仕組みは4段階のリレーです。①GVHMRが単眼動画から人の3D骨格の動きを重力方向基準で復元(平面映像から棒人間の3Dアニメーションを起こす作業)。②GMRがその動きを、関節の可動域や体格が異なるロボット向けに「翻訳」。③調整後の動きをシミュレーター上で模倣学習によりロボットの制御ポリシーに焼き込み。④最後に実機に転送して物理世界で歩かせます。従来のロボット歩行制御は「安定して歩くこと」自体がゴールで「どう魅せるか」は対象外でしたが、本研究はモデルウォークという魅せる歩き方(歩幅・つま先角度・腕の振り・視線)を数値目標として明示し、人間のランウェイ映像との定量比較で近さを検証している点が新しさです。マーカー式mocapスタジオが不要で、市販動画からでも学習データを作れます。利用にはLinux環境、NVIDIA GPU(CUDA12.1以上)、ストレージ約30GB、Booster K1などの実機ヒューマノイドロボット(参考価格帯は数百万円)が必要で、GVHMR/SMPL-Xの商用利用には別途申請が要ります。

License

パイプライン本体のコードはMITだが、依存するGVHMR・SMPL/SMPL-Xボディモデルは研究非商用ライセンスのため、商用利用には各配布元への別途申請が必要。

Sources

Related Works

  • GVHMR

    重力方向を基準に単眼動画から3D人体姿勢を復元する先行研究(SIGGRAPH Asia 2024)

  • GMR (General Motion Retargeting)

    人間の動きを17種類以上のヒューマノイドロボットへリアルタイム変換するリターゲティングツール(ICRA 2026)

  • ExBody2

    表現力豊かな全身制御をヒューマノイドロボットに学習させる先行研究