NVIDIA / MIT / HKU / UCSD/2026-10
ロボットの過去映像を最大19.2秒ぶん覚えさせ、未来の映像を予測しながら約0.1秒で動作を決めるワールドモデル。コード・学習済みモデル公開済み。
何がすごいか: 「ワールドモデル」とは、いま見えている映像から次に世界がどう動くかを頭の中で想像するAIです。Long-WAMは、直前の映像だけでなく最大19.2秒ぶんの過去映像を見せたほうが判断が良くなることを示し、課題の成功率を63.3%から78.7%に引き上げました。しかも1回の判断はRTX 5090で約107ミリ秒と、実機ロボットを止めずに動かせる速さです。広告・体験づくりでの使いどころ: 「過去の流れを踏まえて未来の映像を想像する」部分は、1枚の画像から続きの映像を生成するLongLive 2.0 Robotとして公開されており、物を置く・畳む・注ぐといった長めの動きを予測した映像をデモで見られます。インスタレーションで来場者の動きに反応するロボットや、動く展示物の制御、物理的に自然な動きを持つ映像生成の土台として試せます。
仕組み: 約1万時間のロボット視点・人の一人称視点の映像で、「過去の映像から次の瞬間を予測する」練習(自己回帰学習)をあらかじめ行った映像生成モデル(LongLive 2.0 Robot)が土台です。このモデルが頭の中で未来の映像(潜在表現)を想像し、その結果から、ロボットに送る動作のまとまり(アクションチャンク)を決めます。たとえるなら、ボールが転がってくる様子をしばらく見続けてから手を出すキャッチャーのようなもので、短い記憶しかないより、長く見たほうが先読みが正確になります。 従来との違い: これまでは過去の映像を長くしても効果が出ない例が多くありました。本研究は、映像モデルが「過去から未来を予測する」形で事前学習されていることが条件だと示しました。また、映像の圧縮をストリーム処理にする、判断と動作を非同期にする、量子化で軽くするといった工夫で、RTX 5090・DGX Spark・Jetson AGX Thorで実時間動作させています。ベルトコンベヤ上のカップ積みは95%(19/20)の成功率でした。 使うには: Python 3.10以上とCUDA対応のPyTorch環境が必要で、学習・評価・実機展開で環境を分ける構成です。LIBERO、RoboTwin 2.0、RoboCasa GR1などのシミュレータ用スクリプトと、Hugging Faceの学習済みモデル(コンテキスト長0〜19.2秒の5種)が用意されています。実機(Unitree G1等)を動かすには別途ロボットが必要で、導入は研究者・エンジニア向けです。映像予測部分だけを試す場合はGPU1枚から始められます。
コードはApache 2.0。サードパーティ部品は各ライセンスに従う。学習済みモデルはHugging Face(Efficient-Large-Model)で公開。
Long-WAMの映像生成側の土台となるリアルタイム長尺映像生成プロジェクト。
Metaによるロボット向け潜在ワールドモデル。
世界の予測と行動を一つのモデルで扱う別アプローチ。