Viggle AI/2026-11
撮影済みの映像を、人物や物・背景・天候・照明だけ差し替えて「撮り直し」できる動画編集モデル。Viggle が MiniMax H3 向けの LoRA(既存モデルに後付けする追加学習ファイル)として公開した。
すごい点は、元の動画のカメラワークとタイミング、音声をそのまま残して中身だけ入れ替えられることです。入れ替えたい箇所は、元のフレームに絵の具で描き足したような参照画像を1〜4枚渡すだけで指定できます。顔認識や人物の切り抜き(マスク)、姿勢推定は要りません。「swap」モードは人物・キャラクターの差し替え、「edit」モードは物の入れ替え・削除・追加、背景・天気・照明の変更を担当します。広告では、1本撮った映像を出演者違い・季節違い・商品違い・ロケ地違いに展開する地域別バリエーション制作に向きます。撮影後の差し替えで再撮影を減らせる可能性があり、完成映像の一部修正や、コンテ段階の見せ用映像づくりにも使えそうです。公式デモでは映画の1シーンを22通りに作り替える例や、100秒超の長尺のパロディ映像も示されています。
仕組み:MiniMax H3 という動画生成モデルの内部に、ランク256の LoRA を2種類(swap 用と edit 用)差し込んでいます。LoRA は、大きな基本モデルに少量の追加ファイルを足して得意技を覚えさせる方式です。利用者は元動画から選んだフレームに色を塗るなどして描き足した参照画像を渡し、プロンプトで <Picture 1>〜<Picture 4> と指定します。誰を残して何を変えるかは、顔の特徴を抽出する別モデルではなく、この描き足した画像から読み取られます。 従来との違い:従来の動画差し替えは、人物の切り抜きやポーズ推定、トラッキングを組み合わせる手間のかかる工程が必要でした。このモデルはその前処理を省き、画像1枚の編集感覚で動画全体に反映できる点が違います。MCP サーバーも同梱され、AI エージェントから操作する使い方も想定されています。 使うには:ComfyUI(0.42.0で動作確認)と MiniMax H3 の基本モデル(約144GB)が必要です。bf16では80GBクラスのGPUが前提ですが、量子化版(int8 21GB、GGUF Q4_K_M 14.3GB など)があり、12〜32GB級のGPU向けの設定表も付属します。ただし公開されている処理時間の実測は B200 のみで、家庭用GPUでの速度は未確認です。1回に処理できるのは90〜345フレームです。リポジトリ全体は約210GBなので、必要なファイルだけ選んで取得します。
重みは minimax-h3-community-license(MiniMax H3 派生物としての条件付き)。inference/・examples/・comfyui/・mcp/ のコードは Apache 2.0。商用利用は MiniMax H3 の条件の確認が必要。
手で編集した1〜2フレームの変更を、ショット全体へ伝播させる MiniMax H3 用 LoRA。
MiniMax H3 ベースの、生成・制御・編集をまとめて扱う動画生成フレームワーク。