Junsheng Zhou ほか(学術, CVPR 2026)/2026-04
たった4台のカメラ映像から、動く3D空間(4D)を高精細に復元するCVPR 2026の研究。
すごいのは、動く3D空間(4D=立体+時間)を、たった4台のカメラの映像から高精細に復元できること。人物やパフォーマンスを全方位から立体的に記録する“ボリュメトリック撮影”は通常、数十台のカメラを並べた大がかりなスタジオが必要で、費用も準備も重かった。4C4Dは、カメラが極端に少なくても形が破綻しないよう、点(ガウシアン)の不透明度を賢く減衰させる仕組みで幾何情報を補い、わずか4台でも見られる品質を出す。広告・体験づくりでは、ダンスや商品の動き、タレントの演技などを少ない機材で立体キャプチャし、自由視点映像やARコンテンツ、バーチャルライブ素材にできる。ボリュメトリック制作の“設備の壁”を大きく下げ、企画段階の試作や小規模スタジオでの実現に近づける点が魅力だ。
仕組みを身近に言うと、四方に置いた4台のカメラ映像から、動く被写体を無数の小さな粒(3Dガウシアン)の集まりとして時間方向まで含めて再構成する。カメラが少ないと“見えていない角度”が増えて形が崩れやすいが、4C4Dは新提案のNeural Decaying Function(不透明度を状況に応じて減衰させる関数)で、幾何と見た目の学習のバランスを取り、疎な視点でも安定した形状を保つ。 従来の4D/ボリュメトリック再構成は、視点をたくさん用意することが前提で、数十台規模のカメラリグが事実上の必須だった。4台という現実的な台数で高品質を狙える点が、この研究の新しさだ。設営・同期・コストの負担が大きく下がる。 使うにはPythonとCUDA対応GPUの環境が必要。コードはMITライセンスでGitHubに公開され(CVPR 2026採択、arXiv 2604.04063)、商用利用も可能。研究実装のため自前でのセットアップ前提だが、少人数・小規模でも動く4D空間づくりを試せる土台になる。
MITライセンス。研究実装、商用利用可。CVPR 2026採択
1本のモノクロ動画から動く4Dガウシアンを復元する研究
少台数撮影の入力データ作りに使えるiOSスプラット撮影アプリ