toyxyz/2026-10
通常の動画から人物のモーションを取り出し、ミキサモ(Mixamo)・VRM・PMXキャラへ移して、FBXやVMDで書き出せるWindows用アプリ。処理はすべてローカルのAIで行う。
スマホやカメラで撮った普通の動画から、専用スーツなしで人の全身と指の動きをデータ化できる点がすごい。複数のAIモデル(ExMR、FlowHMR、GVHMR)から選べ、足や手のひらが地面や物を滑って見える問題を、接触のタイミングを編集して直す機能まで備える。取り出した動きは、Mixamo、VRM、PMXのキャラへそのまま当てはめてFBXで出せ、MMD向けにVMDにも変換できる。広告・体験づくりでは、ダンサーや出演者の動きを撮影するだけで、3Dキャラクターのモーション素材にできそう。モーキャプ機材を借りるのが難しい小規模なCM、SNS動画、ライブ演出、VTuber企画の試作に向く。
仕組みは、動画の各フレームから人物を検出し、3Dの人体モデル(SMPL-X/SMPL-H)の姿勢を推定して、時間的につなげる流れ。たとえるなら、動画に写る人にぴったり合う「見えない骨格人形」を1コマずつ当てはめていく作業である。その後、足や手のひらが接地している区間を自動検出し、滑りを抑える補正を適用。人物が複数いる場合はFind personで対象を選べる。Webカメラや動画のリアルタイム追跡(PEAR、実験的)や、複数カメラ用のMAMMAにも対応する。 従来はGVHMRなど各モデルのコードを個別にPythonで動かす必要があった。このアプリはそれらを1つのWindows用画面にまとめ、確認、補正、リターゲット、FBX/VMD出力まで一気通貫で行える。 使うにはWindows 64bit、NVIDIA GPU、Git for Windowsが必要。git cloneしてinstall.cmdを実行し、RGBMoCap.cmdで起動、Model ManagerでAIモデルを取得する。5つのオフラインモデルで約68GBのディスクが必要。MAMMAとPromptHMRにはVisual Studio 2022 Build ToolsとCUDA 12.8が必要。アプリは無料だが、含まれるモデルのライセンス(非営利限定のものあり)を商用案件の前に確認すること。
アプリ自体のコードはMIT。同梱・利用するAIモデル(GVHMR派生のExMRは非営利研究のみ、YOLOはAGPL-3.0など)は個別ライセンスで、商用利用は事前確認が必要。
単眼動画から手足の細かい動きまで含むSMPL-Xを再構成する研究。デモコードと重みは公開済みで、本ツールが利用している。
動画からワールド座標系の人体モーションを推定する手法。本ツールの対応モデルの1つ。
手足の精度向上手法の詳細と結果。