ResearchMan← Technology
Any3R
Research研究用途のみ (MIT)#Spatial/3D

Any3R

Jingong Chen ほか(研究チーム)/2026-10

Overview

ピンホール、魚眼(180度超)、360度パノラマなど、種類の異なるカメラの画像を混ぜて入れても、1回の処理でカメラ位置・深度・3D点群を出す3D復元モデル。推論・評価コードと重み、Gradioデモが公開されている。

技術のポイント

すごい点は、レンズの種類を気にせず3D復元できることです。従来の多くのモデルは普通のカメラ(ピンホール)前提で、魚眼や360度カメラの画像は事前に歪みを補正するか、別途学習し直す必要がありました。Any3Rは「各画素がどの方向を向いているか」という光線の情報を入力にするため、魚眼とパノラマと通常カメラの画像が混在していても、そのまま1回の処理で復元できます。広告・体験づくりでは、360度カメラやアクションカメラで撮った会場・店舗・街の映像から手早く3D空間を起こし、バーチャル展示やAR演出の下地にする使い方が考えられます。ロケハン映像からのレイアウト把握や、複数種類のカメラで撮った現場素材の統合にも向きます。重みは非商用限定なので、実案件ではまず社内検証や企画用のプロトタイプとして使うのが安全です。

技術の詳細

仕組み:Any3Rは、画像1枚ごとに「画素ごとの視線の向き(単位ベクトル)」を計算して一緒にモデルへ渡します。たとえば魚眼は端ほど画像が歪みますが、視線の向きで表せば、歪んだ写真もそのまま同じ座標系で扱えます。さらに、画像の位置情報に行・列ではなく仰角と方位角を使い、損失の計算も「その画素が球面上で占める面積」で重みづけします。レンズの種類による有利・不利が出にくい学習になります。 従来との違い:既存手法は、カメラの種類ごとに専用のモデルを用意するか、歪み補正をかけて普通のカメラ画像に直す必要がありました。Any3Rは13種類のカメラモデルで評価され、魚眼やパノラマが混在した入力も1回の処理で扱えます。READMEの表現では、深度、カメラ位置、統合した点群を1回の順伝播で出します。 使うには:GitHubからソースを取得し、コマンドライン用demo.pyか、ブラウザで使えるdemo_gradio.pyを起動します。重み(約4.6GB)は初回にHugging Faceから自動ダウンロードされます。NVIDIA GPUとPython環境が必要で、評価の再現用スクリプトとサンプル画像3シーンも同梱されています。コードはMITですが、重みと一部コードは非商用研究ライセンスのため、商用案件への直接利用はできません。

License

コードはMITだが、VGGT-Omega由来の部分とモデル重みはFAIR Noncommercial Research Licenseで非商用限定

Sources

Related Works

  • VGGT

    複数画像からカメラ・深度・点群を一度に出す基盤モデル(Any3Rの土台の系統)

  • ARROW

    任意の画像集合から3D復元と3D点追跡を行うモデル

  • Any4D

    動画からの実スケール4D復元モデル