暨南大学(Jinan University)/2026-08
すでに完成した3Dガウシアンスプラッティングのシーンから、追加学習なしで狙ったオブジェクトだけを切り出せるセグメンテーション手法。境界のにじみを抑えた高精度な抜き出しが可能。
3Dガウシアンスプラッティングで撮影した空間から「この椅子だけ」「この人物だけ」のように特定の物体を選んで切り出したい場面は多いが、従来手法はシーンごとに追加学習が必要で時間がかかるうえ、切り出した物体の輪郭がぼやけてしまう問題があった。VCARは学習不要(Training-Free)で、まず複数視点からの見え方の一致度で対象をざっくり特定し、次に球状に仮想カメラを追加配置して細部を絞り込み、さらに点の向き(軸)を考慮して輪郭のはみ出しを補正する、という2段階の工夫でこの課題を解決した。Gradioベースの対話型ツールも同梱されており、マウスでクリックするだけで対象物を選択・抽出できる。広告・体験制作の現場では、3Dスキャンした空間から特定の商品や人物だけを抜き出してAR合成に使ったり、被写体と背景を分離してバーチャル空間の演出に活用したりする用途が考えられる。
3Dガウシアンスプラッティングは無数の半透明な点で空間を表現するため、「ある点がどの物体に属するか」を後から判定するのは簡単ではない。VCARはまず、複数の視点それぞれで対象がどれだけはっきり写っているか(View Completeness=見え方の完全性)を投票形式で集計し、大まかな対象領域を特定する。次に対象を球状に取り囲む位置に仮想カメラを追加配置し(Spherical Spiral Sampling)、死角を減らしながら再投票して精度を上げる。最後に、点の向き(共分散の軸)を分析し、輪郭からはみ出しがちな点を軸ごとに縮小補正する「Axis-aware Boundary Refinement」で輪郭のにじみを抑える。 既存手法の多くは、シーンごとに意味特徴を点に埋め込む追加学習(特徴蒸留)を行うため計算コストが高く、境界もぼやけやすかった。VCARは学習を一切行わずに後処理だけで同等以上の精度を達成する点が特徴。 Python 3.12・CUDA 11.8・PyTorch 2.7.0の環境と、対象となる学習済み3DGSシーンが必要。SAM3(Metaの物体分割AI)との連携APIも用意されており、テキストや画像で指定した物体を自動抽出することもできる。コードはMITライセンスで商用利用も可能。
VCARが連携APIを用意しているMeta製の物体分割基盤モデル
特徴蒸留による学習ベースの3DGSセグメンテーション、VCARが課題として挙げる先行手法系統