ResearchMan← Technology
GaussianRenderFormer
Research条件付き (MIT)#Spatial/3D

GaussianRenderFormer

SVLwoof (アカデミア研究チーム)/2026-11

Overview

Gaussian Splatをラスタライザ(従来の描画エンジン)なしで、Transformerだけで画像に描画する研究。コードと学習済み重みが公開済み。

技術のポイント

Gaussian Splatは通常、専用の描画プログラム(ラスタライザ)で画面に変換します。GaussianRenderFormerはその工程を「Gaussianを1つ1つの単語のように扱い、Transformerに画像を出力させる」方式に置き換えました。学習済みモデルは2万個のGaussianからなる物体を、見えない物体に対してもPSNR 38dB台で描画できます。現時点では1枚あたり275ms(L40S)と専用ラスタライザ(1ms未満)よりずっと遅いので実用の描画器ではありません。ただし、描画がニューラルネットで表現されると、微分可能で、他のAIモデルと同じ土俵につなげられます。たとえば将来、照明や素材の変化を学習で肩代わりさせたり、スプラットから直接生成モデルへつないだりする研究・プロトタイプの土台になります。広告・体験づくりの観点では「3Dスキャン物をAIの描画パイプラインに直結する」実験を始めるための、動かせる出発点です。

技術の詳細

仕組み:入力はGaussian Splatの集合で、各Gaussianが1つのトークン(Transformerが扱う単位)になります。出力側のビューデコーダは、画面を4×4ピクセルの小さなレイ(視線)パッチに分け、それぞれをGaussianトークンと照らし合わせて画素値を決めます。ベースは先行研究RenderFormerのモデルで、そこから初期化して学習しています。学習にはObjaverseの26,820物体(各2万Gaussianに間引き)を使い、300個の未見物体で38.08dB、同じ入力をラスタライズした場合の44.02dBに迫ります。 従来との違い:従来の描画は「各Gaussianを画面に投影して並べて混ぜる」手計算の幾何処理でした。本研究は描画をデータから学習するため、描画規則を式で書かずに済みます。その代償として速度は約275倍以上遅く(195Mパラメータ)、精度も小さく劣ります。 使うには:Linux、NVIDIA GPU、Python 3.12が必要で、`uv add "gaussianformer @ git+https://github.com/SVLwoof/gaussianformer"`でインストールします。学習済み重みはHugging Face(shahafvl/gaussianformer)にあります。研究コードなので、実験としてPython環境を扱えるスキルが前提です。費用は無料です。

License

コードと重みはMIT。ただし学習データObjaverse_Splatsの各オブジェクトは作者ごとのライセンスが残る。

Sources

Related Works

  • RenderFormer

    メッシュをTransformerだけで描画する先行研究(本研究の初期化元)。

  • 3D Gaussian Splatting (Inria)

    従来のラスタライザ方式の原典実装。

  • gsplat

    高速なCUDAラスタライザ実装(比較対象の速度基準)。