Code Video Model Team/2026-10
文章から「Three.jsのコード」で3Dシーンを組み、その粗い映像をお手本にして動画生成AIに最終映像を作らせる、設計図つきの動画生成手法。
動画生成AIは「車を右から左へ走らせ、カメラは低い位置から追う」のような細かい動きや物理の指定が苦手で、何度も撮り直しになりがちです。この研究は、先にコードで粗い3Dシーン(箱や簡単な形で動きとカメラ位置を決めた下書き映像)を作り、それを動画生成AIへの指示書として渡します。下書きの構図とカメラワークは保ったまま、見た目だけをAIがリアルに仕上げます。広告では、商品の周りを回るカメラ、建築パースのウォークスルー、ゲーム風の一人称視点、被写体が止まって見えるバレットタイム風の演出など、「絵コンテどおりに動かしたい」カットで効きそうです。下書きはコードなので、カメラ位置や速度を数字で直して作り直せます。
仕組みは4段階です。①文章から、物体の配置・動き・カメラ・物理計算を書いたThree.js(ブラウザで3Dを動かすJavaScript)のプログラムを作る。②それを実行して、粗い下書き動画と基準画像を出す(公式ページでは1分以内とされる)。③下書き動画と基準画像を、学習済みの動画生成モデル(MiniMax-H3)に条件として渡す。④動画生成の最初の数ステップだけ下書きに従わせ、その後は手を離す。下書きは「のっぺりした見た目」なので、全工程で従わせるとAIがその質感まで真似てしまうためです。④は追加学習なしで使えます。 従来の動画生成は、文章や1枚の画像だけでカメラや動きを指定するため、狙いどおりに動かすのが運任せでした。この手法は動きの設計をコードに任せ、見た目の仕上げをAIに任せます。公式ページでは、独自ベンチマークCodeVideoBench(22ケース・8用途)で最強の学習型ベースラインVACEを上回るとされています(採点はAIによる自動評価)。 使うにはPython環境と、MiniMax-H3の重みをダウンロードするスクリプト(download_h3.py)、大きなGPUが要ります。評価スクリプトはOpenRouter経由のLLMを使うため、そこは有料APIです。コード生成側のLLMも用意する必要があります。実装はリポジトリのcvm・inferenceフォルダに入っています。
コードはApache-2.0、サンプルはCC BY 4.0。生成にはMiniMax-H3の重みを別途取得して使うため、そのライセンスにも従う必要がある。
同手法のThree.jsシーン生成部分だけをComfyUIの1ノードにした実装。
この研究が使う評価用データセット(Hugging Face)。