ResearchMan← Technology
LatentDance
Research条件付き (Apache-2.0)#Motion/Body#GenVideo

LatentDance

Nanjing University of Science and Technology/2026-08

Overview

1枚の参照キャラクター画像とお手本のポーズ動画から、キャラクターの見た目を保ったまま自然でダイナミックな動きのアニメーションを生成する研究モデル。

技術のポイント

これまでのキャラクターアニメーション生成AIは、激しい動きや変な角度になると顔や服の柄が崩れたり、途中で別人のように見えてしまう問題がありました。LatentDanceは「IAMM」という仕組みで、キャラクターの見た目情報を関節の動きに沿って一緒に変形させながら保持し、体をひねるなどして隠れて見えなくなった部分も周囲から自然に推測して描き直すことで、素早いダンスや激しいジェスチャーでも同一人物・同一キャラクターに見える動画を生成できます。広告制作の視点では、1枚のキャラクタービジュアル(イラストやCGモデルの静止画)とお手本の振付動画さえあれば、そのキャラクターが商品を紹介したりダンスしたりする動画をローコストで量産できる可能性があります。VTuberやブランドキャラクターを使ったSNS広告、EC商品紹介動画のバリエーション展開などへの応用が考えられます。

技術の詳細

LatentDanceは3つの部品からなります。「IAMM(アイデンティティを意識したモーションモデリング)」はキャラクターの見た目情報を関節の軌跡に沿って一緒に変形させることで、動いても同じキャラクターだと分かるようにする仕組みです。「PLC(疑似潜在補完)」は、体をひねった時などにカメラから隠れて見えなくなった服の柄や体の部分を、周辺情報から推測して自然に埋めます。「LIP(潜在的アイデンティティ保持)」は最初のフレームの細かい特徴(顔立ちや衣装の質感)を動画全体で保ち続ける仕組みです。たとえるなら、影絵芝居で人形の絵柄を保ったまま複雑な動きをつけるようなイメージです。 既存のAnimate-XやMimicMotionのような手法は、ポーズが激しく変化すると輪郭が崩れたりディテールが消えてしまいがちでしたが、LatentDanceは論文中の画質・動き自然さの指標で従来手法を上回る数値を報告しており、実写の人物・イラスト調キャラクター・素早い動きなど幅広い被写体で安定した生成ができるとしています。 使うには、公開されているコードとGradio(ブラウザで動かせる簡易デモ画面)をPython環境にセットアップします。ただし14Bパラメータの大型モデルのため、単体GPUで動かす場合は約80GBのVRAM(業務用GPU相当)が必要で、一般的な家庭用PCでは動きません。学習用のコードは近日公開予定で、現状は公開済みの学習済みモデルを使った生成のみが可能です。

License

コード本体はApache-2.0だが、依存する基盤モデルWan2.2・DiffSynth-Studioのライセンス条件も別途遵守する必要がある

Sources

Related Works

  • Animate-X

    参照ポーズ動画で任意のキャラクター画像を動かす先行研究。実写以外のキャラクターにも対応。

  • MimicMotion

    信頼度を考慮したポーズガイダンスで高品質な人物動画を生成する手法。

  • Wan-Animate-2

    キャラクターアニメーションの適用範囲を広げる動画生成モデル。