NVIDIA/2026-09
NVIDIAが開発した、3Dスキャン映像の露出ムラや色ズレを物理的に正しいかたちで補正するオープンソースのAIモジュール。
写真や動画から3D空間を復元するガウシアンスプラッティングなどの技術は、撮影中に露出やホワイトバランスが少しずつ変化すると、復元した3D空間に色ムラや明るさのチラつきが出てしまう弱点がありました。PPISPは、カメラの絞りやISO、ホワイトバランスの効果を物理法則に沿った形でモデル化し、3D復元の学習と同時にその変化を分離・補正することでこの問題を解決します。さらに、まだ撮影していない新しい視点でも、あたかもカメラの自動露出・自動ホワイトバランスが働いたかのように明るさや色を自然に予測できるのが特徴です。広告制作の現場では、屋外ロケや照明を統一できない商業施設などでも、ムラのないクリーンな3Dスキャン(バーチャル背景・商品の3D化・空間コンテンツ)を作りやすくなり、後工程での色調整の手間を大きく減らせます。
仕組みとしては、3D復元の学習中に、カメラ・フレームごとの露出補正、レンズの周辺減光(ビネット)、色かぶりを直すホワイトバランス、カメラ固有の階調カーブを、それぞれ意味のあるパラメータとして分離して学習します。写真の色や明るさのクセを『カメラの設定メモ』として書き出しながら3D空間を作るイメージです。新しい視点用には、これらの設定を予測する専用のミニAI(コントローラ)も同時に学習します。 従来の『バイラテラルグリッド』という手法も撮影条件のブレを補正できましたが、補正値が格子状の数値の集まりに過ぎず物理的な意味を持たないため、学習していない新しい視点では予測ができませんでした。PPISPは補正の意味を保ったまま学習するため、未知の視点でも自然な露出・色味を予測でき、精度でも上回っています。 使うには、GitHub上でApache 2.0ライセンスで無料公開されているコードをPython/PyTorch/CUDA対応GPU環境に組み込む必要があり、現状はエンジニアがパイプラインに実装して使う形です。すぐ使えるGUIツールはまだありません。
Apache 2.0で商用利用可。gsplat/3DGRUTへの統合が予定されている