ResearchMan← Technology
SCAIL-2
Tool商用OK (Apache-2.0)#Motion/Body#CreatorTools#GenVideo

SCAIL-2

Z.ai(智譜AI / Zhipu AI)/2026-06

Overview

動画に写った人物の動きを、骨格抽出を経ないEnd-to-Endモード(姿勢駆動モードも選択可)で別キャラクターへそっくり乗り移らせる。ダンスも宙返りも、人物置き換えや動物への変換も1モデルで実行。

技術のポイント

動画に写った人物の動きを、まったく別のキャラクターにそっくり乗り移らせる技術。「お手本の動画」と「動かしたいキャラの画像」を渡すだけで、ダンスも宙返りも早着替えのように別キャラで再現する。人間を動物やデフォルメキャラに置き換えることもできる。従来のこの種の技術は、まず姿勢を推定して骨格に変換する工程が必要で、そこでのズレが破綻の原因になっていた。SCAIL-2は骨格を経由しないEnd-to-Endモードを新たに備えたが、姿勢(骨格)を経由するモードも選べるようになっており、高解像度では姿勢駆動の方が精度が高い場合もある。広告・体験づくりでは、社内で撮った素人のダンス動画をブランドキャラクターの動きに変換する、実写のタレント映像をアニメ調キャラに置き換える、群衆シーンを一括で別キャラに差し替える、といった演出が、モーションキャプチャ設備なしで作れる。

技術の詳細

これまでの「動画で動画を動かす」手法は、まず人物の姿勢を骨格データに変換し、それを別キャラに当てはめる二段構えが主流だった。だが姿勢推定を挟むぶん、細かな動きや珍しいポーズでズレや崩れが起きやすい。SCAIL-2は姿勢という中間表現を経由しないEnd-to-Endモードを備え、見本動画から直接ターゲットを動かせるため、宙返りのような激しい動きや、骨格の取りにくい動物でも破綻しにくい。なお姿勢(骨格)駆動モードも選択でき、704pなど高解像度ではこちらの方が精度が高い場合がある。

License

GitHubはApache-2.0、HFカードはMIT表記。いずれも寛容で商用可

Sources

Related Works

  • SCAIL v1

    同チームの前世代(CVPR 2026 Findings)。本手法の土台

  • Wan2.2-Animate

    参照キャラを動かす代表的なオープン動画アニメーションモデル