InSpatio Research(北京航空航天大学・浙江大学等)/2026-08
複数枚の写真から、輪郭のにじみが少ない高精細な3Dガウシアンスプラットを生成する研究。InSpatio Research開発、2026年8月公開。
複数の写真から立体空間を素早く作る「フィードフォワード型」の3D生成AIは、処理は速いものの生成映像がぼやけたり、見る角度によって画質にムラが出たりする弱点を抱えていました。原因は、AIが物体の「形(ジオメトリ)」と「見た目の色や質感(アピアランス)」を一緒くたに予測してしまい、互いの情報が干渉していたことにあります。QuerySplatは、形の推定と質感の推定を別々の処理経路に分けることでこの干渉を解消し、細部までくっきりした3D映像を、カメラ位置が事前に分からない写真セットからでも作れるようにしました。代表的なベンチマークでは既存手法より最大2.3dB画質が向上したと報告されています。プロダクト撮影やロケハン写真を数枚読み込むだけで、広告・EC向けに「どの角度からもクリアに見える」3Dビジュアルを短時間で試作する用途に向いています。
①仕組み:3Dガウシアンスプラットは無数の半透明な粒を空間に配置して立体を表現する手法です。QuerySplatは、「どこにどんな形の物があるか」を事前学習済みの視覚幾何モデルで推定する担当と、「その部分がどんな色・質感に見えるか」を推定する担当を分業させ、最後に両方の結果を組み合わせて粒の集合を作ります。器(形)を作る職人と盛り付け(見た目)を仕上げる職人を分けるイメージで、それぞれが専念できる分、仕上がりがきれいになります。 ②従来との違い:これまでの「クエリ型」手法は高速な反面、形と見た目の情報が混ざって画質がぼやけがちでした。QuerySplatはこの分業設計でぼやけを抑えつつ、カメラ位置が未知の写真群でも姿勢推定なしで扱える柔軟性を両立しています。 ③使うには:GitHubで推論コードと学習済みモデル(Hugging Face配布)が公開されています。QuerySplat自体はApache 2.0ですが、内部で使う画像理解モデル(VGGT-Omega・DINOv3)は研究非商用ライセンスのため、商用利用時はそちらの扱いに注意が必要です。動作にはPython・PyTorchとNVIDIA GPU環境が必要です。
QuerySplat本体はApache 2.0だが、内部で使うVGGT-Omega/DINOv3の重みがFAIR Noncommercial Research Licenseのため商用利用時は要確認
画像から姿勢・深度など3D情報をフィードフォワードで推定する基盤モデル
複数視点画像から3Dガウシアンスプラットを生成する基礎手法
テキストや1枚画像から高解像度3Dガウシアンを生成するフィードフォワード手法