ResearchMan← Technology
Masked Visual Actions for Unified World Modeling (MVA)
Research条件付き (Apache-2.0)#Spatial/3D#AI/Agents#Motion/Body

Masked Visual Actions for Unified World Modeling (MVA)

Stanford University / University of Maryland, College Park / Harvard University/2026-07

Overview

1つのモデルで「ロボットの動きを与えると未来の映像をシミュレート」「物体の動きを与えると必要なロボット動作を生成」の両方をこなす、動画の一部を隠して復元させるだけの学習方法で作られた統一世界モデル。

技術のポイント

何がすごいかというと、ロボット向けの「未来予測モデル(世界モデル)」と「動作生成モデル」は通常別々に作るものですが、本研究は動画の一部分だけを隠して、その先の展開をモデルに予測・復元させるという単純な学習タスク1つだけで、同じモデルから両方の能力を引き出せることを示しました。しかも学習データは実データとシミュレーションデータを合わせてわずか15時間程度と少なく、学習時に見ていない形状のロボットアームにも対応できる汎化性を持っています。広告・体験制作の文脈では、実写に近い映像を生成できる動画生成AIをベースにしているため、「この物体をこう動かしたい」という指示からもっともらしい動作映像を作る用途、たとえばプロダクトのモーション企画のプレビズや、ロボットアームを使ったインスタレーションの事前シミュレーションへの転用が考えられます。

技術の詳細

仕組みとしては、動画生成AI(Wan系のモデルをベースにしたDiffSynth-Studio)を土台に、動画の一部分を隠して(マスクして)その先の展開を予測・復元させるという単純な学習タスクだけで訓練します。ロボットの動きを見せて「この後シーンがどうなるか」を予測させれば環境シミュレーション(フォワードモデル)になり、逆に対象物側の目標の動きだけを見せて「ロボットはどう動けばこうなるか」を予測させれば動作生成(インバースモデル)になる、という発想です。 従来は未来予測用のシミュレータとロボットの動作計画用のモデルを別のアーキテクチャ・別データで作ることが多かったのに対し、本研究は同じ重みの1モデルを「何を隠すか」という条件の切り替えだけで両方の役割に使い回せる点が新しく、タオルやぬいぐるみを使った実世界タスクや公開データセットDROIDでの検証で有効性を確認しています。 使うには、GitHubで公開された学習・推論コードと、Hugging Face Hub上のモデル重みを組み合わせ、ベースとなるDiffSynth-Studio(Apache-2.0)をクローンして依存関係を整えれば推論スクリプトが動きます。動画生成モデル相当のGPU(VRAM)が必要で、広告制作で使うには映像生成AI活用の知見と、ロボットまたは対象物の実写素材の準備が求められます。

License

学習・推論コードはDiffSynth-Studio由来のApache-2.0。ベースの動画生成モデル自体のライセンスが別途適用される可能性あり

Sources

Related Works

  • WorldStereo

    映像生成とカメラ誘導による3Dシーン再構成を橋渡しする世界モデル

  • D4RT

    CVPR 2026ベストペーパーの動的4Dシーン再構成手法(重み未公開)

  • 3D-Generalist

    VLMを自己改善ファインチューニングでシミュレーション対応3D環境生成に活用するNVIDIA研究