Zhejiang University / Monash University / UC Berkeley BAIR ほか/2026-10
脚本から複数ショットの映画を作る際、「1つの世界」を3Dで覚えておき、場所の再訪や過去の出来事の別アングル撮影を可能にするエージェント型映像生成フレームワーク。
AI動画は、ショットが変わると部屋の家具配置や小物が変わってしまうのが大きな弱点です。ATASは脚本を読み、シーンの3D構造と、いつ何が起きたかの記録を「世界の記憶」として持ち続け、次のショットを生成するときにその記憶から描いた映像を条件として渡します。4種類の動画生成モデルで試した結果、ショット間の一貫性の指標が全て改善したと報告されています。また、同じ部屋に戻って別アングルから撮る、過去の出来事を別の視点から撮り直す、といった映画的な演出ができます。広告では、同じ店内やセットを舞台にした連作CM、商品が置かれた空間を使ったシリーズ動画、空間体験のプリビズなどに応用できそうです。YouTubeのプロモ動画と、プロジェクトページの対話型プレイヤーで動作を確認できます。
仕組みは次の流れです。①脚本を「どの場所で、どのカメラで、いつ何が起きるか」が決まったショット依頼に分解します。②各依頼で、場所の3D形状を保存した「シーン記憶」と、出来事を時刻つきで保存した「イベント記憶」を検索します。③記憶から描いた映像を動画生成モデルに渡して新しいショットを作ります。④できたクリップを3Dに復元して世界に位置合わせし、審査・位置合わせ・状態チェックの3つに合格した場合だけ記憶を更新します。 従来のマルチショット生成は前のショットの絵を参考にするだけで、別アングルや時間が戻る場面で破綻しがちでした。ATASは世界そのものを持つため、空間の再訪にも強い点が違いです。ただし、行動や状態まで正確に再現する部分は論文でも課題とされています。 使うには、クライアント側はPython 3.12とffmpegがあれば動き、GPUは不要ですが、DashScopeのAPIキー(有料の可能性あり)が必要です。3D復元を行うジオメトリサービスには約20GBの空きVRAMを持つNVIDIA GPUと、Pi3X・SAM3の重みが要ります。READMEには examples/(bookstore、clockshop、record)とCLIが用意され、すぐ試せます。
本体はMIT。geometry/backbones/ 内のサードパーティコードは各自のライセンス。依存するPi3X・SAM3の重みは別途条件の確認が必要。