Alibaba Group Tongyi Lab(通義研究所)/2026-08
1本の動画から人物の動き・表情・カメラ視点までまるごと転写できる、Alibaba発の高精度キャラクターアニメーション生成AI。推論コードと学習済みモデルが無料公開された。
この技術のすごさは、お手本となる動画から人物のポーズだけを抜き出す「中間工程」を丸ごとなくし、動画を直接読み込んで新しいキャラクターに動きを転写できる点です。中間工程がある方式は、抜き出しに失敗すると誤りがそのまま最終映像に伝わってしまう弱点がありましたが、これを解消しました。さらに、お手本動画のカメラアングルとは関係なく「右60度から見た構図で」のように文章で最終的な視点を指定できるのも新しい点です。軽量版の「Lite」を使えば処理が非常に速くなり、生放送中のバーチャルキャラクターのように、リアルタイムでの動き転写にも対応します。広告や体験づくりの観点では、モーションキャプチャ用の特殊機材なしに、スマホ撮影した見本動画だけでキャラクターに演技をさせたり、ライブ配信するAIアバター・バーチャルタレントの制御、複数キャラクターが同じ場面で自然に絡む群衆演出などに応用できそうです。
仕組みをたとえるなら、お手本の動画を「振付師」、生成対象のキャラクター画像を「ダンサー」として、振付師の動きの特徴(キーとなる情報)だけをダンサー側に流し込みながら映像を作る二本立ての処理(デュアルブランチ構成)です。各フレームの対応関係をずらさず揃える工夫と、ダンサー側が振付師側の「今このタイミングの情報」だけを参照する仕組みによって、計算量を抑えながら動きの再現度を保っています。 従来のこの手の技術(前身のWan2.2 Animateや類似手法)は、動画から一度「骨格の位置情報」のような中間データを抜き出してからキャラクターに当てはめる方式が主流でした。人物が手で顔を隠すなど抽出が難しい場面で誤りが生じ、そのまま不自然な動きとして出力されてしまう課題がありました。Wan-Animate-2はこの中間工程自体をなくし、動画から直接キャラクターの動きを生成することで、この種の破綻を減らしています。カメラ視点を文章で指定できる点も、これまでのキャラクターアニメーション技術にはなかった機能です。 実際に使うには、公式には8基のA800 GPU(720p品質時)ないし2基のA800(480p品質時)という業務用クラウドGPU相当の計算資源が推奨されており、個人が手元のPCだけで動かすのは難しいのが実情です。ただしPython・PyTorch環境があれば動作し、モデル重みはHugging Face/ModelScopeから無料でダウンロードできるほか、ComfyUIなどの既存ツールへの組み込みも進んでおり、クラウドGPUのレンタル経由であれば個人クリエイターでも試せます。
推論コードとBase/Distillモデル重みがApache 2.0で公開済み(2026-08-07)。生成物に映る人物の肖像権・許諾は別途要確認
本技術の前身。骨格抽出を介する方式のキャラクターアニメーションモデル
ByteDance発、動画から人物へ動きを転写する類似のモーション転写モデル
リアルタイム性を重視した先行のポートレートアニメーション手法