ResearchMan← Technology
PAN 2
Research商用OK (Apache-2.0)#GenVideo#AI/Agents

PAN 2

MBZUAI Institute of Foundation Models (IFM)/2026-11

Overview

MBZUAI が公開した290億パラメータの「世界モデル」。行動を書いたテキストと最初の1コマから、最長20秒・704x1248・24fps の映像を生成する。重み・推論コード・学習設定が Apache-2.0 で公開されている。

技術のポイント

すごいのは、映像を「見た目の絵づくり」ではなく「その行動をしたら世界がどう変わるか」の予測として作る点です。『コップを傾ける』『ドアを開けて歩く』のような行動を時間区切りで書くと、状態が連続して変化する最長20秒の映像が出ます。しかも290億パラメータ級のモデルの重みだけでなく、学習用の設定ファイルまで Apache-2.0 で公開されているので、商用案件でも自社データで追加学習できます。広告・体験づくりでは、商品を使う一連の動作の事前確認(絵コンテ代わりの動くプレビュー)、物理的にそれらしく動く短尺の素材づくり、インスタレーションで来場者の行動に反応する映像の試作などに使えそうです。コミュニティ製の ComfyUI ノードも出ており、fp8 版とブロック入れ替え(重みを少しずつ GPU に載せる方式)で、手元の RTX 4090/5090 でも低解像度なら動作が報告されています。

技術の詳細

仕組み:PAN 2 は画像・映像を作る Transformer(MMDiT)を290億パラメータまで大きくしたモデルで、文章を理解する部分に Qwen3.5-9B、映像の圧縮・復元に Wan 2.2 の VAE を組み合わせます。「ノイズから少しずつ絵を整えていく」拡散方式で、プロンプトは時間範囲つきの構造化された行動記述(0〜5秒:〜する、など)として与えます。たとえるなら、一枚絵のイラストレーターではなく、台本の動きを順番に演じさせて撮影する小さな撮影所のような使い方です。 従来との違い:一般的な動画生成は『それっぽい見た目』を優先しがちですが、PAN 2 は『行動→結果』という世界の変化の予測を目的に学習されています。リポジトリには推論だけでなく学習コードと設定(sft/pretrain の yaml)、Diffusers と vLLM 対応も含まれ、研究や再現がしやすい構成です。 使うには:公式の推論は CUDA 13 系の PyTorch と FlashAttention が必要で、H200 級 GPU 向けのセットアップ手順が中心です。手元で試すなら有志の ComfyUI-PAN2 ノードと fp8 重み(約33.7GB)を使い、Windows でも動きます。作者の実測では 448x256・13フレームで RTX 5090 が約65秒、4090 が約129秒です。50ステップの本来解像度(704x1248)や長尺はまだ未計測なので、本番利用前に自分の環境で確認が必要です。費用は重みが無料のためGPU環境代のみです。

License

PAN 2 本体のコードと重みは Apache-2.0。Wan 2.2 VAE・Qwen3.5-9B など第三者部品は各自のライセンス(NOTICE/THIRD_PARTY_LICENSES 参照)。

Sources

Related Works