北京大学 / 鹏城実験室(Pengcheng Laboratory)/2026-08
長時間・複雑な動きの多視点映像を破綻なく3Dガウシアン群として再構成する新手法。バスケットボールの試合や長尺の会議シーンなど、これまで難しかった長尺ボリュメトリック映像の高品質な自由視点再生を可能にする。
複数カメラで撮影した映像を3D空間の点の集まり(ガウシアンスプラッティング)として再構成し、好きな角度から見返せるようにする技術がある。ただし従来手法は数秒程度の短い映像でしか綺麗に動かず、選手が走り回るような長時間・激しい動きの映像では点がちぎれたりノイズが出たりして破綻しやすかった。ATGSは、時間ごとに「アンカー」と呼ぶ目印を先に配置し、そのアンカー周辺だけで点の動きを計算する仕組みに変えることで、1400フレーム(数十秒)に及ぶバスケットボールの試合シーンでも安定して再現できるようにした。広告・体験づくりの観点では、スポーツのハイライトやライブパフォーマンスを「好きな角度から見られる映像コンテンツ」として長尺のまま提供できる可能性がある。試合終了後にファンが好きな選手視点でプレーを見返せる体験や、長尺のダンスパフォーマンスを360度どこからでも鑑賞できるアーカイブなどが考えられる。
通常のガウシアンスプラッティングは、空間に無数の半透明な「点(ガウシアン)」をばらまいて物体や人物の形と色を表現する。動画の場合、この点ひとつひとつが時間とともにどう動くかを直接追跡しようとすると、長時間・複雑な動きでは追跡がずれて破綻してしまう。ATGSは、まず映像のキーフレームから「アンカー」という代表点を少数配置し、各時刻でどのアンカーが有効かを切り替える「時間ウィンドウ」方式を導入。個々の点の動きをアンカー周辺の局所的な計算に閉じ込めることで、遠く離れた時間・空間への影響の広がりを防ぎ、安定性を保っている。 LocalDyGSや4DGaussianなど既存の動的ガウシアンスプラッティング手法は、数秒程度の短いクリップでは高品質だが、数十秒以上・激しい動きのシーンでは品質が大きく落ちる傾向があった。ATGSは同条件下でこれらの手法を上回る画質を維持しつつ、1400フレーム規模の長尺シーンに対応する。 マルチカメラ(デモでは11〜140台規模)で撮影した映像とカメラキャリブレーションデータが必要で、学習・レンダリングにはNVIDIA GPU(CUDA環境)が求められる。コードはPythonで公開されており、tiny-cuda-nnとgsplatライブラリに依存する。個人利用は可能だが、リポジトリにライセンス表記がなく商用利用時は著者への確認が望ましい。
リポジトリにライセンス表記なし(プロジェクトページの図表等はCC BY-SA 4.0)。商用利用は著者への確認を推奨
動的シーン向けガウシアンスプラッティングの代表的な先行手法、ATGSの比較対象
ストリーミング型の動的3DGS手法、長尺化で品質が落ちる比較対象として言及
ATGSが依存するNerfstudio製の高速ガウシアンスプラッティング実装ライブラリ