RWTH Aachen University (Computer Vision Group)/2026-10
写真の束、動くカメラの動画、複数カメラの映像のどれを入れても、3D形状の復元と「画面上の点が3D空間のどこへ動いたか」の追跡を1つのモデルで行う研究。推論コード・重み・ブラウザ用ビューアが公開されている。
すごい点は、撮影順がバラバラの写真集でも、手持ちの動画でも、複数台のカメラ映像でも、同じモデルで3Dの形と点の動きを出せることです。従来は「3D復元」と「点の追跡」を別のツールで行い、入力も連続した動画が前提でした。ARROWは時間の順序を前提にしないため、イベント会場で来場者が撮った写真や動画を寄せ集めても、空間と動きをまとめて再構成できます。広告・体験づくりでは、参加者投稿の素材から会場の3D空間を立ち上げる演出や、人や物体の軌跡を3D上にトレイルとして可視化するインタラクティブ映像が考えられます。撮影済み映像の中の物体の動きを3D座標として取り出し、CGやエフェクトを位置合わせして重ねる用途にも向きます。ただし重みは非商用限定なので、そのまま商用案件に使うことはできません。企画段階の検証やプロトタイプ用と割り切るのが安全です。
仕組み:ARROWは複数枚の画像を読み込み、画像ごとに「この写真は何番目の観測か」を示す識別用の目印(トークン)を作ります。時間を表す情報は入れていません。そのうえで「この画像のこの画素が、別の時刻の画像・別のカメラから見るとどの3D座標か」という問いをモデルに投げ、答えを返してもらいます。たとえるなら、バラバラに並んだ写真の山から、同じ点を探して位置を答えてくれる係員のような働きです。同じ問いの形で、少数の点を追う追跡も、全画素を答える密な復元もできます。 従来との違い:既存の手法は、静止した場面の復元用か、動画の点追跡用かで分かれ、入力の順序も決まっていることが多くありました。ARROWは順序なしの写真集、移動カメラの動画、複数カメラのストリームを同じ枠組みで扱います。論文では、3D追跡のベンチマークであるWorldTrackとTAPVid-3Dで最高水準、RGB画像だけを使うマルチビュー追跡の比較でも専用手法を上回ったと報告されています。復元の精度は同等レベルです。 使うには:GitHubからソースを取得し、uvで環境を作ります。サンプル動画つきの推論スクリプトと、ブラウザで結果を見るビューアが入っています。環境が整っていればHugging Face上のデモでも試せます。評価・学習コードは「次に公開予定」の段階です。重みは非商用限定なので、商用利用には使えません。Python環境とNVIDIA GPUを扱えるスキルが目安です。
READMEによると学習済み重みは非商用限定で、Waymoの利用条件にも従う必要がある。コードのライセンスはLICENSEファイルで確認が必要