ResearchMan← Technology
TaoMate-H3-FL2VA
Research条件付き#GenVideo#Audio/Music

TaoMate-H3-FL2VA

Alibaba TaoLive AIGC Team/2026-10

Overview

最初のコマと最後のコマを指定すると、その間をつなぐ映像と音声を同時に、ほぼリアルタイムでストリーミング生成するMiniMax H3用の3ステップLoRA。

技術のポイント

「この絵から始まって、この絵で終わる」という開始コマと終了コマを決めると、その間の映像と音声を一緒に作ってくれる技術です。普通の動画生成は一度に数秒を作って終わりですが、これは短いブロックを次々に生成しながら、音と映像の記憶(KVキャッシュ)を引き継ぐので、30秒(770コマ)級の長さでも前後がつながります。チームは「第一・最終フレーム指定のリアルタイム・ストリーミング型として初」と主張しています。広告・体験づくりでは、ライブ配信用のデジタルヒューマンが決めたポーズで話し始めて決めポーズで終わる、展示映像のループ素材を始点と終点を揃えて作る、といった用途が考えられます。公式の実行環境は大規模なので、まずはComfyUIでの変換版を試すのが現実的です。

技術の詳細

仕組み:MiniMax H3は映像と音声を同じ時間軸で作る大型モデルです。TaoMate-H3は、これを3回のノイズ除去だけで1ブロック生成する軽量なLoRA(追加学習の小さな差分ファイル)で高速化し、ブロックを順に生成しながら過去の音と映像の記憶を保持します。FL2VAはそこに最初と最後のフレームの指定を加えたもので、始点・終点にきちんと着地する点が特徴です。公式の例は24fps・768×1376で、30秒モードは約770コマを3回のリクエストに分けて作ります。 従来との違い:従来のフレーム指定付き動画生成は数秒の固定長を一括生成するのが中心で、長尺にすると音と映像がずれたり、つなぎ目が目立ったりしました。これはストリーミング生成で記憶を引き継ぎ、映像と音声を同時に扱う点が新しい部分です。論文はアバター生成向けのTaoMateで、arXiv 2607.24359 に出ています。 使うには:公式ランタイムは Linux・NVIDIA Hopper世代(SM90)GPU が前提で、検証環境は H20 96GB を8枚という大規模構成です。個人環境向けには、ComfyUIの標準MiniMax H3 Image to Video ノード(first_frame / last_frame 入力あり)にLoRA変換版を載せる方法が紹介されており、Kijai氏らが変換版を公開しています。ベースのMiniMax H3モデルを別途ダウンロードする必要があり、ライセンスはMiniMax H3 Community Licenseに従います。

License

MiniMax H3 Community License Agreement に従う。商用可否・条件は同ライセンス本文の確認が必要。

Sources

Related Works