ResearchMan← Technology
InfiniSplat
Research商用OK (Apache-2.0)#Spatial/3D#CreatorTools

InfiniSplat

Zhejiang University (ZJU3DV) / UDeer.ai / Shenzhen University/2026-08

Overview

1枚の写真から、視点を大きく動かしても破綻しない3Dガウシアンスプラット(立体シーン)を生成する研究。ZJU3DVら開発、SIGGRAPH Asia 2026採択。

技術のポイント

従来、1枚の写真から3D空間を作る技術は、視点を少しずらすだけならきれいでも、大きく横に回り込んだり反対側から覗き込んだりすると、壁や物の裏側にひび割れのような隙間や歪みが出やすいという弱点がありました。InfiniSplatは、写真の各ピクセルに機械的に点を貼り付けるのではなく、写っている物の「表面」がどこにあるかを先に推定してから、その表面に沿って粒子(ガウシアン)を配置し直す設計にすることで、大きく視点を動かしても破綻しにくい3D空間を1枚の画像だけから作れるようになりました。屋内の合成データだけで学習したのに、街中の実写のような屋外シーンにもそのまま通用する汎化性能も確認されています。広告用の商品写真1枚から回り込んで見られる3Dビジュアルを作ったり、旅先の1枚の風景写真からVR体験用の空間を素早く試作したりといった、「写真1枚→歩き回れる3D」のワークフローを短時間・低コストで実現する土台として使えそうです。

技術の詳細

①仕組み:3Dガウシアンスプラットは、無数の半透明な綿毛のような粒(ガウシアン)を空間に配置し、見る角度によって陰影や色が変わって見えるようにする表現方法です。従来の1枚画像からの生成手法は写真の画素の位置にそのまま粒を置くやり方が主流でしたが、これだと画面の端や隠れた部分で粒がまばらになり、視点を動かすと隙間が見えてしまいます。InfiniSplatはまず深度(奥行き)情報から物体表面の傾きや形を推定して粒を置く場所を決め直し、そのうえで色や大きさなどの詳細をAIが予測する2段階方式を取っています。 ②従来との違い:これまでの1枚画像→3D技術は視点を少しだけ動かす用途が中心でしたが、InfiniSplatは「大きく視点を動かす」ことに焦点を当てて設計されており、屋内学習データのみで屋外の実写シーンにも通用する汎化力が検証済みです。 ③使うには:GitHubでコードと学習済みモデルがApache 2.0で公開され、Gradioのブラウザデモも用意されています。NVIDIA GPU搭載PCがあれば、Pythonでの環境構築だけで自分の写真を試せ、商用利用も基本的に可能なライセンスです。

License

推論コード・学習済みチェックポイントはApache 2.0で公開。学習データの内訳等は別途要確認

Sources

Related Works