ResearchMan← Technology
Motion2MixamoRig
Tool条件付き (Apache-2.0)#Motion/Body#CreatorTools

Motion2MixamoRig

MaxLiu22(個人OSS)/2026-10

Overview

1人の人物が映った動画(または1枚の写真のポーズ)から3Dの動きを推定し、AdobeのMixamo規格のキャラクターに自動で移し替え、Blender/Unityに持ち込めるアニメ付きキャラ(.glb)を出力するOSSツール。v0.1.5(2026-10-15)でBlender 4.2+用アドオンが加わった。

技術のポイント

すごい点は、モーションキャプチャ用のスーツや専用スタジオがなくても、スマホで撮った普通の動画から「人の動き」をそのまま3Dキャラの骨格の動き(アニメーション)に変換できることです。リポジトリには、人の動きを取り出す処理から、Mixamo用の関節回転への変換、プレビュー動画の書き出しまで、一通りが入っています。v0.1.5ではBlenderのアドオンも付き、Blenderの画面から実行して結果をそのまま読み込めるようになりました。広告・体験づくりでは、ダンサーや役者のリファレンス動画を撮って、ブランドキャラクターやゲーム風キャラに演じさせるラフアニメの高速制作に向きます。一度取り出した動きは保存して別キャラに使い回せる(数十秒で再変換)ので、同じ振付を複数キャラで踊らせるSNS向け展開、実写とCGキャラの並置映像、絵コンテ代わりの動くプリビズなどに使えそうです。まだ「実験的」と明記されており、仕上げの手直し前提の下書きツールとして見るのが現実的です。

技術の詳細

仕組みは3段階です。まず動画の各コマから、人の全身の姿勢をSMPL-Xという標準的な人体モデルの形で推定します(GVHMRという既存の姿勢推定モデルを利用)。次に、この人体モデルの関節の動きを、Mixamoキャラクターの骨の名前・向きに合わせて対応づけ、関節ごとの回転データに変換します。最後に、キャラクターにその回転を当てて、アニメ付きの.glbファイルとプレビュー動画(骨格・キャラ・比較)を書き出します。たとえるなら、役者の動きを一度「共通の人形」に写し取り、それを好きな衣装のキャラに着せ替えて再演させる流れです。 従来はモーキャプ機材を使うか、有料のクラウドサービスに動画を上げて変換する方法が中心でした。本ツールは手元のPCで動き、途中成果物(skeleton_motion.npz等)も取り出せるため、動きだけ再利用して別のキャラに差し替えられる点が違いです。写真1枚から静止ポーズを移すモードもあります。 使うにはPython 3.11以上、約5GBのウェイト(初回に自動ダウンロード)、SMPL-Xの無料登録による入手、Adobeアカウントで取得するMixamoのキャラFBXが必要です。ffmpegがないと出力動画が無音になります。CPUでは30秒の動画で初回8〜15分かかるため、GPU(CUDA/Apple MPS)推奨です。コマンドは `m2mr doctor` で環境確認、`m2mr run` で実行。Blenderアドオンは4.2以降で、外部Python環境を呼び出して結果を取り込みます。費用はソフト自体は無料です。

License

リポジトリのコードはApache-2.0。ただしSMPL-Xボディモデルは既定で非商用、Mixamo FBXは再配布不可、推論ウェイト(GVHMR等)は各上流ライセンスに従う。商用利用は各アセットの条件確認が必要。

Sources

Related Works

  • GVHMR

    動画から世界座標系の人体姿勢を推定する本ツールの土台モデル

  • FreeMoCap

    普通のカメラだけで使えるオープンソースのマーカーレスモーキャプ

  • Blender MCP

    AIエージェントからBlenderを操作するブリッジ(Mixamo系リターゲットの自動化に併用される)