ResearchMan← Technology
UniQuery4R
Research条件付き (Apache-2.0)#Spatial/3D#Motion/Body

UniQuery4R

Kosmo Research (Jilin University, Tsinghua University 共同)/2026-09

Overview

動画中の任意の点を指定するだけで、その点の将来位置・3D座標・動きの向き・奥行きを1つのモデルでまとめて予測する4Dシーン復元技術。

技術のポイント

これまで動画から動きと3D形状を取り出すには、点の追跡・奥行き推定・3D復元をそれぞれ別のモデルで処理する必要があった。UniQuery4Rは動画に『付箋』を貼るように見たい点を指定すると、その点が別の時刻でどこに動き、3D空間のどこにあり、どちらに向かって動いているかを一括で返してくれる。疎な点の追跡にも、画面全体を敷き詰めた密な復元にも同じ仕組みで対応できるのが特徴。広告制作では、実写映像に写る人物や商品だけを3D的に切り出して背景合成したり、ダンスやスポーツ映像から動きのデータを抽出してCGキャラクターに転写する、といった使い方が考えられる。

技術の詳細

仕組みとしては、動画の複数フレームをまとめて特徴データに変換しておき、見たい点(ピクセル)を『クエリ』として投げ込むと、対応点・3D位置・動き・奥行きがまとめて返ってくる。従来はトラッキング用、深度推定用、3D復元用と別々のツールを組み合わせる必要があったが、これを1つのモデルに統一した点が新しい。 利用にはGitHubで無料公開された学習済みモデルとコードを使う。公式にはNVIDIAの業務用GPU(80GBクラス)での動作例が示されており、動画の長さやフレーム数に応じてメモリ消費が大きく変わるため、一般的なゲーミングPCで使う場合は短い動画・小さい処理単位に絞る必要がある。Pythonのコマンドライン操作に慣れていることが前提となる。

License

本体コードはApache-2.0だが、依存するVGGT由来コンポーネントは研究利用限定ライセンス

Sources

Related Works

  • VGGT

    画像群からカメラ位置と3D形状を一括推定する基盤モデル。UniQuery4Rが内部で参照する要素技術のひとつ。

  • MonST3R

    動きのある動画から3D形状を復元する先行研究。同じ4D復元の文脈で比較対象になる手法。