Ant Research(浙江大学と共同研究)/2026-08
1台のスマホで撮った普通の動画から、その場の人物を「4D(時間変化する3D)」データとして復元し、好きな角度から見返せるようにする技術。専用スタジオや複数カメラは不要。
スマホなどで撮った、ダンスやスポーツ、ファッションショーなどの普通の動画(カメラ1台・キャリブレーション無し)から、動いている人物を丸ごと立体データ化し、任意の視点のアングルで再生できるようにする技術です。これまでの4D人物復元は、多数のカメラで囲んだ専用スタジオ(ボリュメトリックキャプチャ)が必要で、大がかりな設備投資が前提でした。4DAnyoneはAIが元の1本の動画から「もし他の角度から撮っていたら」という映像を複数生成し、それらを組み合わせて立体モデル(4D Gaussian Splatting)を作り上げるため、街中で撮った素材やアーカイブ映像からでも自由視点の映像表現が作れます。広告のプロダクトムービーや過去のライブ映像をVR空間で自由視点体験化するなど、撮り直しできない映像素材を活用する用途に使える可能性があります。
仕組み: まず入力動画から、別の角度から見た場合の映像をAIが複数枚(マルチビュー)生成します。ここでの課題は、生成する角度が増えるほど「さっき生成した別アングルの映像」を全部参照しながら次のアングルを作る必要があり、参照量が扱いきれる範囲を超えてしまう点でした(論文内で「bounded-attention-context問題」と呼称)。4DAnyoneは、増え続ける参照映像を固定長の要約データに圧縮する仕組み(Reference Context Packing)と、生成するアングルのグループを順番に入れ替えながら互いの情報を共有する仕組み(Target Context Routing)の2つを導入し、この問題を解決しました。生成された複数アングルの映像は最終的に4D Gaussian Splattingという手法で1つの立体動画データにまとめられます。 従来との違い: 複数カメラのボリュメトリックスタジオを使わず、市販カメラ1台の映像から4D化する点が最大の違いです。既存の「1台のカメラから3D人物を作る」系の手法は静止ポーズや短い動きに限られがちでしたが、本手法はダンスやスポーツなど激しい動きを含む動画でも一貫した立体感を保てることをDNA-RenderingやDyMVHumansといった評価データセットで示しています。 使うには: SIGGRAPH Asia 2026採択の研究成果で、コードと推論スクリプトがApache-2.0ライセンスでGitHub公開されており、GPU環境があれば動かせます。ただし研究用実装のため商用パイプラインに組み込むには変換・高速化などの追加開発が必要です。また実在の人物が映った動画を使う場合は本人の肖像権・撮影同意の確認が前提となります。
コード・重みともにApache-2.0で商用利用可。ただし入力に使う人物映像の肖像権・利用許諾は別途配慮が必要。