ResearchMan← Technology
WorldCrafter
Research研究用途のみ#Spatial/3D#GenVideo

WorldCrafter

Tencent ARC Lab (Tencent IEG) × Peking University/2026-09

Overview

1枚の画像やテキストから『自由に歩き回れる3D空間』を動画として生成し、一度見た場所に戻っても景色が矛盾しないカメラ操作可能な動画生成AI。

技術のポイント

通常の動画生成AIはカメラを動かした先の景色をその都度新しく作り直してしまうため、同じ場所に視点を戻すと景色が変わってしまう『一貫性のなさ』が弱点だった。WorldCrafterは見てきた景色を裏側で3D的に記憶しておく仕組みを持たせることで、一度見せた壁や家具の位置を覚え、視点を変えても・戻ってきても同じ景色を再現する。広告・体験づくりでは、1枚の商品ビジュアルや店舗写真から『その場を自由に歩き回れるバーチャル空間動画』を作ったり、VRや没入体験の仮映像(プリビズ)を素早く用意する、といった使い方が考えられる。ただし現時点では研究利用限定で商用不可のため、社内検証や企画段階のイメージ確認にとどめる必要がある。

技術の詳細

仕組みは、画像やテキストから最初の場面を生成した後、カメラが動くたびに新しい映像を作りながら、これまで見た景色の3D的な記憶を参照して次のフレームを作る、というもの。舞台のセットを一度建てておけば、カメラがどこを向いても矛盾なく同じセットが映る、というイメージに近い。 従来の動画生成AIは一方向にカメラが進む映像しか安定して作れず、振り返りや後戻りに弱かった。WorldCrafterは高速版(WorldCrafter-Fast)でほぼリアルタイムにカメラを動かして探索できる点も新しい。 利用にはTencentの研究チームがコードと学習済みモデルをGitHub/Hugging Faceで無料公開しているが、ライセンスは学術研究目的限定で商用利用は明確に禁止されている。動かすには対応するNVIDIA GPUが必須(具体的な必要VRAMは非公開)。

License

独自コードは学術研究目的限定・商用利用不可を明記。依存コンポーネントにもCC-BY-NC等の非商用ライセンスを含む

Sources

Related Works

  • World Labs Atlas

    同じく画像から3D空間を復元・生成する世界モデル。ただし本稿執筆時点でコード・デモとも非公開。

  • CAT4D

    動画から動きのある4Dシーンを復元する先行研究。世界モデル系の比較対象。