ResearchMan← Technology
Mobile-4DGS
Research—#Spatial/3D

Mobile-4DGS

University of Technology Sydney/2026-10

Overview

静的な3Dシーンも動く4Dシーンも、スマホのブラウザ(WebGL)でリアルタイム表示できるGaussian Splatting軽量化手法。学習・描画コードを公開。

技術のポイント

何がすごいか: Gaussian Splatting(実写から作る3Dシーンを小さな色つきの点の集まりで表す技術)は、色の細かな表現にデータを多く使うため、スマホでは重くなりがちでした。Mobile-4DGSは色情報を1次の簡易表現に圧縮して保存量を約61%減らし、動きのある部分と動かない背景を分けて、背景の描画順を使い回すことで計算も削減します。Snapdragon 8 Gen 3やA15 Bionicのスマホで動作を実証しています。広告・体験づくりでの使いどころ: 専用アプリなしで、URLを開くだけで商品や空間を3Dで見回せるWebコンテンツ、さらに炎や人物の動きなど時間で変化する4Dシーンを来場者のスマホで見せる展示・キャンペーンに向きます。プロジェクトページには、ブラウザで動かせる9つのシーンの試用ビューアがあります。

技術の詳細

仕組み: 通常の3DGSは、点ごとに光の当たり方による色変化を表す球面調和関数(高次の係数)を持ち、これが容量の大半を占めます。本手法はモンテカルロ法で鏡面反射のエネルギーを集約し、高次係数を1次に畳み込みます。動くシーンは、各点の動きを位置・速度・加速度(2次の運動モデル)で表し、点ごとに「いつ存在するか」の範囲を学習するので、1フレームごとにAI推論をせず再生できます。さらに「動かない点」と「動く点」を2値で分け、静的部分の奥行き順(どの点が手前か)をキャッシュして再計算を減らします。 従来との違い: 4D対応の従来手法はPCやハイエンドGPU前提のものが多く、スマホで滑らかに動かすのは困難でした。本手法は静的・動的を1つの枠組みで扱い、モバイル向けの軽さを両立しています。 使うには: 学習にはCUDA 12.6・Python 3.11の環境と、N3DVデータセット等の前処理、MPEGのGPCC圧縮ツールが必要で、導入のハードルは高めです(リポジトリはtrain.py・render.py・metrics.pyなどが実在しますが、ドキュメントは簡素でスター数も少ない初期段階)。見るだけならプロジェクトページのWebGLビューアをスマホやPCのブラウザで開くだけで、費用も不要です。

License

リポジトリにライセンス表記なし。商用利用は著者への確認が必要。

Sources

Related Works

  • gsplat

    Nerfstudio発のオープンソースGaussian Splatting学習・描画ライブラリ(Apache 2.0)。

  • Spark

    World Labs製、three.js向けのオープンソース(MIT)Gaussian Splatレンダラー。

  • 3D Gaussian Splatting (graphdeco-inria)

    3DGSの原典実装。