ResearchMan← Technology
Puffin-World
Research研究用途のみ#Spatial/3D#AI/Agents

Puffin-World

S-Lab (Nanyang Technological University) / University of Michigan / Beijing Jiaotong University / ACE Robotics/2026-09

Overview

1枚の画像やテキストから、カメラの向き・奥行きなど物理的な整合性まで理解した3D空間を生成し、自由な視点で歩き回れる映像を作れる統合モデル。

技術のポイント

すごいのは、画像の見た目だけでなく、カメラが実際にどんな角度・高さで構えられていたか、地面がどちらにあるか(重力方向)といった物理的な状況までAIが理解した上で3D空間を作っている点です。多くの画像生成AIは見た目が整った1枚を作るだけですが、Puffin-Worldは室内・屋外を問わず1枚の画像やテキストから、実際に視点を動かして歩き回れる3D空間(67万点規模の点群相当)を生成し、極端な回転や長い移動軌跡でも破綻しない映像を作れます。広告・体験制作では、ロケハン写真1枚から仮想の店舗やショールームを歩き回れるバーチャル内覧動画を作ったり、CM撮影前にカメラワークを3D空間上で事前に試すプレビズ(撮影前の下見)に使える可能性があります。研究段階のモデルですが、写真1枚から"歩き回れる下見"を作れる可能性を示した技術です。

技術の詳細

たとえるなら、1枚の写真から「その場に実際に立って見える景色」を計算して補う仕組みです。カメラのロール・ピッチ・視野角(そのカメラがどんな傾き・高さで構えられていたか)を先に推定し、それを設計図として使いながら、見た目(色や質感)と奥行き構造(形)を同時に生成します。これにより視点を動かしても壁や物の位置がねじれずに一貫した空間になります。 従来の3D生成AIは「見た目の生成」と「奥行きの復元」を別々のモデルで行うことが多く、視点を大きく動かすと壁が歪んだり物が重複したりする破綻が起きやすい問題がありました。Puffin-Worldは両者を1つの生成プロセスで同時に扱う点、また1500万件規模の画像・カメラ姿勢データセット(Puffin-16M)で学習している点が新しさです。

License

S-Lab License 1.0は非営利研究目的限定。商用利用には権利元への別途許諾確認が必要

Sources

Related Works

  • Puffin

    カメラの物理的な姿勢理解に特化した前作の基盤モデル

  • Genie 3 (Google DeepMind)

    テキストから歩き回れる世界をリアルタイム生成する競合の世界モデル