ResearchMan← Technology
Matrix-Game 4.0
Research商用OK (Apache-2.0)#Spatial/3D#GenVideo#AI/Agents

Matrix-Game 4.0

Skywork AI(UC San Diego・CUHK・上海AI Lab ほかとの共同研究)/2026-10

Overview

ゲームエンジンが出す粗いローポリ映像を、動画生成モデルがリアルタイムで精細なゲーム映像に描き直す「操作できるワールドモデル」。キー入力から画面表示までの遅れは112ms、RTX 5090で480p・60FPSの動作が報告されている。

技術のポイント

すごい点は、AIが映像を丸ごと想像するのではなく、「ルールと位置の管理はゲームエンジン」「見た目の描き込みは動画生成モデル」と役割を分けたこと。従来のワールドモデルは、長く遊ぶと世界の状態が崩れたり、操作への反応が遅れたりしがちだった。この方式ではキャラの位置や物理がエンジン側で保たれる。そのため54〜99秒の連続プレイでも破綻しにくく、1枚のGPUで60FPS前後の描画が報告されている。広告・体験づくりでは、粗いローポリで作ったレベルやカメラワークを、そのまま映画風や水彩風のルックに変換して遊べるブランドゲームを短期間で試作できそうだ。展示会向けのインタラクティブ映像、キャンペーンサイトの体験型コンテンツ、ライブ会場の大型スクリーン演出なども候補になる。ゲーム開発の素材制作コストを下げる手段としても使える。

技術の詳細

仕組みは三層構造になっている。①ゲームエンジンが「プレイヤーの位置・当たり判定・ルール」を管理し、ローポリの下書き映像を出す。②コーディングエージェント(AIがゲームルールのコードを書き換える部分)が、場面の説明文(プロンプト)を80フレームごとに更新する。③蒸留した因果型DiT(過去のフレームだけを見て次を作る動画生成モデル)が、下書きを1〜2回のノイズ除去で精細な映像にする。カメラ位置ごとに過去のフレームを呼び戻す「空間メモリ」も持つ。たとえるなら、エンジンが「粗い絵コンテ」を描き、AIが「その場で清書する」イメージだ。 従来のゲーム世代モデルは、AIがキー入力から次の映像を直接予測するため、数十秒で世界が崩れたり遅れが出たりしやすかった。本手法はルール判定をエンジンに任せ、AIは見た目の清書に専念する。公式ページでは、4種のゲーム比較と54〜99秒の連続プレイが公開されている。 使うには、公式リポジトリ(Matrix-Game-4フォルダ)のコードと、Hugging Faceの重み(中世の城・古代エジプトのシューティング、市街地レーシングの3シーン、各約50億パラメータ)が必要になる。単一GPUで動き、公式にはA100、RTX 5090、5080、5070 Tiの推論手順が載っている。ライセンスはApache-2.0で、費用は自前GPUがあれば無料。ただし独自のゲームに使うには、シーンごとの再学習が必要になる。学習コードは未公開なので、現状は同梱の3シーンを動かして試す段階だ。導入にはPythonとGPU環境を扱えるスキルが要る。

License

コードと3シーン分の重み・ゲームアセットはApache-2.0。TAEHVはMIT。レーシングシーンの音声にはCC BY 3.0素材があり、クレジット表記が必要。学習コードと学習データは未公開。

Sources

Related Works

  • Matrix-Game 2.0

    同じSkywork AIが公開した、リアルタイムで操作できるインタラクティブなワールドモデル

  • Genie 3

    Google DeepMindによる、テキストから操作可能な3D世界を生成するワールドモデル

  • Hunyuan-GameCraft

    Tencentによる、キーボード・マウス操作に応じてゲーム映像を生成する動画モデル