ResearchMan← Technology
UMR (Unified Motion Retargeting)
Research条件付き (MIT)#Motion/Body#Spatial/3D

UMR (Unified Motion Retargeting)

HKUST(Guangzhou) / Hanyang University / HKU / Noitom Robotics/2026-09

Overview

モーションキャプチャした人間の動きを、体格も関節数も異なるヒューマノイドロボットへ、手作業の対応づけなしで自動転送できるAI技術。

技術のポイント

このAI技術は、人間のダンサーやパフォーマーの動きを撮ったモーションキャプチャ映像を、体の大きさも関節の数もまったく違うヒューマノイドロボットの動きに、人手による細かい対応づけ作業なしで自動的に変換できる仕組みです。従来は「肩はここ、肘はここ」と人間とロボットの部位を一つひとつ手作業で結びつける必要がありましたが、UMRは体の表面全体を点の集まり(点群)として捉え、その形の対応関係をAIに学習させることで、この面倒な作業を自動化しました。広告やブランド体験の現場では、実際にロボットにダンスパフォーマンスをさせたり、店頭やイベント会場でヒューマノイドロボットが人間のような自然な動きで観客とふれあう演出を作ったりする際に、既存のモーションキャプチャ素材をそのまま使い回せる可能性があります。ロボット展示デモの制作コストや期間を圧縮できる基礎技術として注目できます。

技術の詳細

UMRはまず、人間とロボットそれぞれの気をつけの姿勢(T字姿勢)の体表面を細かい点の集まり(点群)として捉え、「人間のこの部分の点は、ロボットのこの部分の点に対応する」という関係をニューラルネットワークに学習させます。次にその対応関係をもとに、動画から得た人間の動きの1コマごとに、点の位置や向き、体が地面や物に触れる接触情報までできるだけ一致するように、ロボットの関節の動かし方を逆算します。 これまでのモーション変換技術は、開発者が「右手首はここ」「左足首はここ」と人間とロボットの主要な関節ペアを一つずつ手作業で設定する必要があり、ロボットの機種が変わるたびにやり直しが発生していました。UMRは体表面の形をまるごと対応づけるため、二足歩行ロボットから犬型ロボット、テニスラケットを持たせたロボットまで、機種や持ち物が変わっても同じ枠組みで動きを移植できる点が新しい部分です。 コードはGitHubで無料公開(MIT)されており、動作にはNVIDIA製GPUを積んだLinuxパソコンと、人体3Dモデルデータ(SMPL-X、研究用ライセンスで入手可)が必要です。対応させたいロボットの3Dモデルさえ用意すれば、既存のモーションキャプチャ素材から新しいロボットの動きを作れます。ロボット実機がなくても、ブラウザ上のインタラクティブデモや物理シミュレーター(MuJoCo)で動きを確認できます。

License

コード本体はMIT。動作に必要な人体3DモデルSMPL-Xは公式配布元の別ライセンス(研究/条件付き商用)への同意が必要

Sources

Related Works

  • GMR (General Motion Retargeting)

    CPU上でリアルタイム動作する人間→ヒューマノイドのモーションリターゲティング(ICRA 2026)

  • MotionBricks (NVIDIA)

    35万種以上の動きをリアルタイム生成するNVIDIA発のモーション基盤(既掲載技術)