ResearchMan← Technology
MotionMind
Tool商用OK (MIT)#Motion/Body#AI/Agents#CreatorTools

MotionMind

Rohit Acharya(個人開発)/2026-08

Overview

ダンス動画を1本渡すだけで、3Dアバターがその動きを再現し、AIが振り付けの意味を理解してステップごとに分解し、さらに音声で動き方を教えてくれるコーチにまでなる一気通貫パイプライン。

技術のポイント

すごいのは、単に『動画から3Dモーションを抽出する』だけでなく、抽出した動きをAI(LLM)が『これは腰を落とすステップ』『これは腕を回す動き』のように意味づけして教えられる形に分解し、さらにリアルタイム音声AIが実際に『こう動いて』と声で指導してくれるところまで一体化している点です。広告・体験づくりの観点では、インフルエンサーやダンサーの動画から即座にVRアバター向けの振り付け教材やSNS向けのダンスチャレンジ企画を作ったり、ブランドキャラクターに実写の『振り』を移植する用途に使えます。

技術の詳細

仕組みは3段階です。①まず動画から人物の骨格と体型のパラメータ(SMPLという業界標準フォーマット)を、モーションキャプチャ機材なしでAIが推定して抽出します。②それをVRM形式の3Dアバターの骨格に、関節が不自然な角度にならないよう安全チェックしながら移し替えます(リターゲティング)。③最後に、その動きの意味をAI(LLM)が分析して『体のどの部位を』『どんなスタイルで』動かしているかを言葉で理解し、練習しやすい手順に分解、Googleのリアルタイム音声AI「Gemini Live」が実際に声でコーチしてくれます。 従来のモーションキャプチャ→3Dアバター変換ツールは『動きを再現する』ところで完結するものが大半でしたが、本ツールはそこにAIによる『動きの言語化・指導』という一段上のレイヤーを載せている点が新しく、動画からリアルタイム音声レッスンまでを個人が無料枠のGoogle Colab(クラウドの計算環境)だけで完結できる設計になっている点も特徴です。 使うには、動画データからのSMPL抽出に無料のGoogle Colab(T4 GPU)を使い、その後はPython環境(ローカルPC)で処理を続けます。特別な機材は不要ですが、Pythonの実行環境構築にはある程度の技術知識が必要で、音声コーチ機能を使うにはGoogleのAPIキー(無料枠あり、超過分は従量課金)が必要です。現状は個人開発のプロトタイプ段階で、商用の制作パイプラインに組み込むにはまだ手直しが必要です。

License

コード本体はMIT。学習・参照データのAIST++(Google, CC BY 4.0)や同梱VRoidサンプルアバターは別ライセンス

Sources

Related Works

  • AIST++ Dance Database(Google)

    本ツールのデモで使われている、実際のダンス動作を収録した公開データセット

  • VIREA

    14種のモーション生成AIを統合し、VRMアバター向けのテキスト→モーション生成を1本化するツール(開発中・要検証)

  • CozyClay

    ブラウザ上でシーンを仮組みし、AI動画生成モデルに引き渡すプリビズツール