UBC Vision (University of British Columbia)/2026-11
ループ型Transformerで、複数枚の写真・映像から3D形状を、一括・逐次・ストリーミングのいずれでも復元できる研究。推論コードと重みが公開された。
写真や動画から3D形状を復元する最近のAI(DUSt3RやVGGT系)は、「全部の写真を一度に処理する」か「1枚ずつ足していく」かで別々のモデルが必要でした。Solv3Rは同じ更新操作を繰り返し適用する「ループ型Transformer」で、一括・追加・ストリーミング・順不同の入力をまとめて扱います。解いた視点の情報はキャッシュとして持てるため、論文では並列処理のスループットが16倍、キャッシュが16〜34倍小さくなると報告しています。1視点あたりの再定位キャッシュは約2.86MBです。体験づくりの観点では、スマホで歩きながら撮った映像から空間をリアルタイムに組み上げる、後から撮り足した写真を既存の3Dに追加する、といった「撮りながら育つ3Dスキャン」の基盤技術として期待できます。重みが非商用な点は要注意ですが、プロトタイプ検証には十分使えます。
仕組み:3D復元モデルに「解く(solve)」という1つの更新操作を持たせ、これを何回か繰り返すことで答えを磨く構造です。宿題を1回で終わらせず、見直しを重ねて精度を上げるイメージです。API上は`Solv3R.from_pretrained()`でモデルを読み込み、`model.solve(ctx, calls=16)`で解き、`model.add_views(...)`で視点を後から追加します。既に解いた視点はkey-value状態として保存でき、次の更新でそのまま再利用されます。 従来との違い:従来は一括型と逐次型でアーキテクチャが分かれ、新しい写真を足すたびに全体を計算し直すことも多くありました。Solv3Rは1つのモデルで両方をまかない、キャッシュの再利用により追加コストを小さくします。 使うには:conda環境(Python 3.11)を作り`pip install -e .`で導入します。重みはHugging Face(jgkwak/solv3r)から取得します。GPU環境が前提で、README上のTODO欄は一部未更新(例:サンプルは「coming soon」)なので、まず公開済みの推論・評価コードから試すのが現実的です。コードは無料(Apache-2.0)ですが、重みは研究目的に限られます。
コードはApache-2.0だが、学習済み重みはNVIDIA License(非商用・研究評価目的のみ)。商用制作での利用は不可。
Meta/Oxfordによる、複数画像から3D属性を一括推定するフィードフォワードモデル。
未校正の画像ペアから3D点マップを直接出力する先駆的研究。
3D基盤モデルをSLAMに活かした逐次再構成の研究。