LynnReal-AI(Shaohao Rui ら)/2026-11
最初の1枚の画像・文章・手の動きの映像を入れると、手の動きに合わせて物に触れる・動かす様子を映像として生成する「手で操作できる世界モデル」。推論コードと重みが公開されている。
手の動きだけで、映像の中の世界に触れて操作できる生成モデルです。最初の1枚の画像と文章、そして手の動きを撮った映像を入れると、その手に合わせて物をつかむ・押す・撫でるといった様子が映像として作られます。論文では、540pの映像を1枚のGPU(NVIDIA H200)で毎秒約18コマ、遅延約0.74秒で生成できると報告されており、「手を動かすとほぼ即座に画面が反応する」感覚に近づいています。広告・体験づくりでは、来場者が空中で手を動かすと映像の中の商品や生き物が反応するインタラクティブ展示、ハンドトラッキングで動かせる商品デモ、実写の風景に手を伸ばして触れるシーンの事前検証(プレビズ)などが考えられます。3Dゲームのように一から作り込まなくても、1枚の絵から「触れる世界」の見本を素早く作れる可能性があります。
仕組み:約10万本の「手が物と関わる映像」で学習した330億パラメータの映像生成モデルです。手の骨格(MANOという手の3Dモデル)の動きを条件として与えるため、「指がどう動いたか」まで映像に反映されます。通常の映像生成は数十ステップかけて少しずつ絵を整えますが、このモデルのFast版は3ステップで1区間(17コマ)ずつ順番に作るので、遅延が小さくなります。デコーダ(潜在表現から映像に戻す部品)も軽量なUltra-Fast-VAEに置き換えて高速化しています。 従来との違い:これまでの対話型の世界モデルは、主にカメラ移動やキー入力で「見て回る」ものでした。本モデルは手の動きを直接入力にして、物に触れる操作そのものを生成する点が新しいところです。ただし作者自身が、手の形の崩れ、見た目のずれ、長時間でのちらつきを制限として挙げています。 使うには:Linux、Python 3.10、PyTorch 2.9.1(CUDA 12.8)、FlashAttention-3が必要で、高速な経路はH200級GPU 1枚が前提です。ローカルのRTX 3080(16GB)では動かせない規模で、クラウドGPUが現実的です。重みはHugging Face(shaohao011)から付属スクリプトで取得し、`lynnreal-hand` のCLI(prepare / validate / infer)で実行します。リポジトリにはサンプル入力7件と出力動画が付属しています。費用はGPUレンタル代、ライセンスはMiniMax H3 Community Licenseです。
リポジトリ・重みとも MiniMax H3 Community License Agreement に従う。商用条件の中身は未確認のため、利用前に LICENSE 本文の確認が必要。第三者コンポーネントは各ライセンス。
同チームの先行研究。双方向の映像生成モデルを、カメラ・操作で動かせる対話型の世界モデルにする枠組み。
同チームの320億パラメータ映像生成モデル。テキスト・画像・3Dレンダリングなどから制御可能な映像を作る。