Alibaba Tongyi Lab/2026-07
1枚の人物写真と音楽ファイルから、曲の構成に合わせて1分を超えるダンス動画を720p/30fpsで生成するオープンソースモデル。
AIで作る動画は、長くなるほど人物の顔や服装、背景が少しずつ崩れていき、20秒あたりが実用の限界とされてきました。Wan-Dancer-14Bは、まず曲全体を聴いて振り付けの要所(キーフレーム)を設計し、その間を後から丁寧に埋めるという2段構えでこの壁を越え、1枚の人物写真と音楽ファイルだけから、1分を超えるダンス動画を720p/30fpsで破綻なく生成します。中国古典舞踊・K-POP・ストリート・タップ・ラテンの5ジャンルに対応し、コードとモデルはApache 2.0で完全公開されています。広告・体験づくりでは、タレントやキャラクターの写真1枚からキャンペーンソング用のダンスMVを作ったり、イベント会場で来場者の写真から「踊る自分」を見せる参加型コンテンツ、K-POP風のバイラル動画の量産など、「音楽×人物×長尺」が必要な企画の土台になり得ます。
仕組みは「振付師」と「ダンサー」の分業に例えられます。まずグローバル段階(振付師)が曲を最初から最後まで解析し、サビや転調といった構成に合わせて要所のポーズを静止画(キーフレーム)として先に決めます。次にローカル段階(ダンサー)が、隣り合うキーフレームの間の動きをフレーム単位で滑らかに補間します。時間の伸縮に対応する位置埋め込み(time-mapped RoPE)により、曲のテンポに合わせた動きの速さの制御も可能です。 従来の動画生成モデルは全フレームを一気に作るため、長くなるほど整合性が崩れて20秒程度が限界でした。先に全体の設計図(キーフレーム)を固定してから間を埋める方式のため、2分を超えても人物の同一性や背景が保たれるのが最大の違いです。キーフレームを差し替えれば、途中での衣装チェンジや動きの指定といった演出的な介入もできます。 使うにはGitHubの推論コードと、Hugging Face / ModelScopeで公開されている14Bパラメータのモデルをダウンロードします。ライセンスはApache 2.0で商用利用可。ただし公式の検証環境はNVIDIA A800 80GB×8枚と重く、手元のPCでの実行はハードルが高いため、当面はクラウドGPUの利用が現実的です。ComfyUIがネイティブ対応を表明しており、コミュニティによる軽量化・量子化版の登場も期待できます。
コード(GitHub)・モデル重み(Hugging Face / ModelScope)ともApache 2.0で公開。
同じWanファミリーのオープンソース動画生成基盤モデル(MoE構成)
同じAlibaba HumanAIGCチームによる1枚画像からの人物アニメーション研究
分スケールの長尺動画生成を目指す先行研究