Tencent ARC Lab/2026-09
1枚の画像やテキストから、カメラを動かせる「立体的につじつまの合う」映像を作る研究。映像と同時に奥行き(深度)や点群(.ply)も出力できる。コードと学習済み重みが公開済み。
普通の映像生成AIは、カメラを動かすと壁の位置や物の形が微妙にズレてしまいがちです。GAEは「絵」と「立体の形」を最初から1セットの圧縮データとして扱うので、1枚の画像から81コマ分のカメラ移動映像を作っても空間が破綻しにくく、同時に奥行きマップや3D点群まで取り出せます。論文では、既存手法に比べて映像の品質指標(FVD)が約13〜23%改善し、カメラ軌跡の誤差は約半分になったと報告されています。広告・体験づくりでは、1枚のキービジュアルから「その空間の中を歩くようなカメラワーク」のプレビズ(撮影前の仮映像)を作ったり、生成した空間の点群をBlenderやUnityに持ち込んでレイアウト検討に使ったりできそうです。ただしライセンスは学術専用なので、本番納品物ではなく社内の企画検証・技術リサーチ用と割り切る必要があります。
仕組み: 3D形状を理解する既存の「ジオメトリ基盤モデル」が持つ、巨大な特徴データ(3,072チャンネル)を、128チャンネルまで約24分の1に圧縮し、これを映像生成の「作業用の下書き空間(潜在空間)」として使います。たとえるなら、絵と設計図を別々に描くのでなく、最初から「設計図付きのスケッチ」を一枚で描いて、そこから絵・奥行き・カメラ位置・点群のどれにも展開できるようにした形です。生成にはFlow Matchingという方式の約10億パラメータの動画用Transformerを使い、テキスト指示はQwen3-0.6Bで与えます。 従来との違い: これまでは映像を先に作って、あとから形状の制約を付け足すものが多く、視点を動かすとズレが出ました。GAEは形状を生成の中心に据えた点が新しく、RealEstate10KやDL3DVという標準データで、映像品質と3D整合性の両方で改善が示されています。 使うには: GitHubでコード・学習/推論スクリプト・Gradioデモ(Camera Studioでカメラ経路を描ける)が公開済みで、重みはHugging Faceにあります。Python 3.10〜3.12とPyTorch 2.5.1が必要で、約10億パラメータのモデルなのでNVIDIA製GPUのある環境が前提です。費用はGPU環境のみですが、ライセンスは学術目的限定である点に注意してください。
独自ライセンス(LICENSE.txt)。学術目的のみで、商用・本番利用は明確に禁止。広告案件の本番素材には使えず、社内の技術検証・企画の試作用途に限られる。