ResearchMan← Technology
Lyra 2.0
Tool条件付き (Apache-2.0)#Spatial/3D#GenVideo#CreatorTools

Lyra 2.0

NVIDIA (Spatial Intelligence Lab / Toronto AI Lab)/2026-07

Overview

1枚の画像や短い動画から、歩き回って探索できる3D空間をまるごと自動生成するNVIDIAの技術。指定したカメラの動きに沿って映像を生成し、それを3Dガウシアンやメッシュとして書き出す。

技術のポイント

Lyra 2.0は、たった1枚の写真から「歩き回って探索できる3D空間」を丸ごと生成できるNVIDIAの技術です。これまでの映像生成AIには、カメラを動かして同じ場所に戻ると景色が変わってしまう「空間の物忘れ」や、映像が長くなるほど画質や形が崩れていく「時間経過による劣化」という弱点がありました。Lyra 2.0は、過去に生成した映像を簡易的な地図つきの記憶として持たせておき、新しいカメラ位置に近い過去シーンを呼び出しながら続きを生成することで、この2つの弱点を解決しています。最終的に出力される3Dガウシアン/メッシュはゲームエンジンなどでそのまま扱えるため、広告や体験づくりでは、ロケハンなしで商品世界観のバーチャル空間を作ったり、1枚のコンセプトアートからVRやWebで探索できる没入型キャンペーン会場の土台を作る、といった使い方が考えられます。

技術の詳細

仕組みをたとえるなら、旅行者が写真を撮りながら街を歩き、後で「さっき見た交差点」に戻ったとき記憶を頼りに正しい景色を思い出す作業に近いです。Lyra 2.0は生成した各フレームに簡易的な3D位置情報を持たせておき、新しいカメラ位置から見える範囲に近い過去フレームを探し出して、映像生成AI(動画のDiTモデル)にヒントとして渡します。これにより「さっき見た場所に戻ったら別の景色になっていた」という食い違いを防いでいます。 NVIDIAは前身の「Lyra」でも単一動画からの3Dシーン再構成に取り組んでいましたが、2.0では探索できる範囲が大幅に広がり、ユーザーが指定した経路に沿って延々と新しい空間を生成し続けられるようになりました。Fei-Fei Li氏率いるWorld Labsの「Marble」など「1枚の画像から3D世界を作る」競合サービスが増えるなか、Lyra 2.0はコードと学習済みモデルがGitHub/Hugging Faceで実際に公開されている点が特徴です。 動かすにはNVIDIA H100(80GB)クラス相当のGPUが実質必須で、80フレームの映像生成に約9分(高速モード使用時は約35秒)、3D化にさらに約1分かかります。コード自体はApache-2.0ライセンスで商用利用も可能ですが、学習済みモデルの重みはNVIDIAの研究利用限定ライセンスのため、商用利用には別途ライセンス契約が必要です。個人が手元のPCで気軽に試せる段階ではなく、現状はクラウドGPUを扱える開発者・研究チーム向けの技術と言えます。

License

コード本体はApache-2.0で商用利用可。ただし学習済みモデルの重みはNVIDIAの研究利用限定ライセンス下にあり、商用利用には別途NVIDIAとのライセンス契約が必要。

Sources

Related Works

  • Lyra (v1)

    単一動画からの自己蒸留により3Dシーンを再構成する前身プロジェクト

  • World Labs World API / Marble

    Fei-Fei Li氏率いるWorld Labsによる、画像から探索可能な3D世界を生成するサービス

  • Matrix-3D

    単一画像やテキストから高画質パノラマ動画経由で大規模な探索可能3DシーンをつくるOSSツール