Georgia State University / Duke University / University of Tennessee, Knoxville/2026-08
カメラの位置・角度をあらかじめ測っておかなくても、複数枚の物体写真から一発(1回の推論)で3Dガウシアンスプラットを組み立てるフィードフォワード型の3D再構成手法。
FlexSplatは、複数枚の物体写真さえあれば、カメラの位置や角度をあらかじめ測っておかなくても、その場で3Dのガウシアン点群(ガウシアンスプラット)を組み立てられる技術です。従来の同種の手法は、カメラの正確な位置情報を事前に知っている前提で3Dを組み立てていましたが、FlexSplatは画像を見ながらカメラの位置そのものも同時に推定するため、スマホでぐるっと撮った程度のラフな写真セットからでも使えます。しかも一回のニューラルネットの推論だけで完成するので、シーンごとに時間をかけて最適化計算をする必要がありません。広告や商品プロモーションの現場では、ECサイトの商品を回転できる3Dビューにしたり、イベント会場やロケ地をその場でざっくり3Dスキャンしてプレビズ(撮影前の下見・構図検討)に使ったりと、専門的な計測機材なしで「撮ってすぐ3D化」という体験づくりに向いています。
仕組みとしては、複数視点の画像をまず「幾何トランスフォーマー」と呼ばれるニューラルネットに入力し、各画像のカメラパラメータ(位置・向き・レンズ情報)と奥行きを推定します。同時に、画像解像度に紐づかない「学習可能なガウシアンクエリ」という仕掛けを使い、3D空間に配置する半透明の楕円体(ガウシアン)の数や配置を柔軟に決められるようにしています。複数視点で推定した奥行きと形状の一致度(マルチビュー一貫性)をチェックしながら統合することで、視点ごとにバラバラにならない一つの3D表現を作り出します。 従来のpixelSplatやMVSplatといった代表的な手法は、画像1枚あたり決まった数のガウシアンを画素単位で割り当てる方式で、カメラの正確な位置情報(キャリブレーション)が事前に必要でした。FlexSplatはこの制約を外し、カメラ位置の推定と3D復元を同時に行う「キャリブレーション不要」設計にした点が新しく、英国の主要なコンピュータビジョン国際会議BMVC 2026(採択率28%)に採択されています。 利用にはPython 3.10とCUDA対応GPU環境が必要で、公式実装がGitHubで公開されており、学習済みチェックポイントを指定すれば手持ちの画像フォルダから3D復元を試せます(`python -m src.demo --images ... --checkpoint $CKPT --export-ply`)。ライセンス表記は現時点でリポジトリに明記されておらず、研究目的のコードとして商用利用の可否は開発チームへの確認が必要です。プロジェクトページには処理の流れを示す動画や、入力画像枚数による性能向上・カメラ誤差への耐性を示すグラフが公開されています。
リポジトリにライセンス表記が明記されていない。BMVC査読論文の学術コードのため商用利用可否は開発チームへの個別確認が必要
画素ごとにガウシアンを予測する代表的なフィードフォワード3DGS手法。カメラキャリブレーションが前提で、FlexSplatが比較対象とする従来手法。
多視点画像から効率的にガウシアンを推定する軽量フィードフォワード手法。FlexSplatの主要な比較ベースラインの一つ。
視点条件付きで各クエリ視点ごとにカスタマイズした3Dガウシアンを生成する2026年8月発表の関連研究。