ResearchMan← Technology
DreamX-Creator 1.0
Research商用OK (Apache-2.0)#GenVideo#Audio/Music#CreatorTools

DreamX-Creator 1.0

AMAP-ML(アリババ系研究チーム)/2026-09

Overview

1枚の最初のコマとテキストだけから、映像と音声を“同時に”生成できる7Bの軽量モデル。仕上げ用の5Bモデルと組み合わせて2K画質まで引き上げられる。

技術のポイント

従来の動画生成AIの多くは「まず映像だけ作って、あとから効果音やBGMを別のAIで貼り付ける」という2段階の作り方をしていたため、映像の動きと音が微妙にズレたり、口の動きと声が合わなかったりすることがあった。DreamX-Creatorは、映像と音声を1つのモデルの中で同時に生成し、専用の橋渡し役の仕組み(Gated Cross-Modal Attention)で両者をすり合わせながら作るため、動きと音がはじめから噛み合った映像を作れる。さらに仕上げ専用の5Bモデルを追加することで、荒い下書きを高精細な2K画質まで引き上げる。広告制作では、商品カットの環境音や足音、BGMのタイミングをAIが最初から映像に合わせて作ってくれるため、効果音を後付けで細かく調整する手間を減らせる可能性がある。

技術の詳細

仕組み:一般的な動画生成AIは映像用と音声用のAIが別々に動いていて、後工程で人間が音ズレを直す必要があった。DreamX-Creatorは、映像と音声それぞれの専用の処理経路を用意しつつ、ネットワークの後半でお互いの情報をやり取りする「ゲート付きの注意機構」を挟むことで、映像は音に、音は映像に合わせて調整し合いながら生成する。人が動画にアテレコをするとき、映像を見ながら声のタイミングを合わせるのに近いイメージ。 従来との違い:映像・音声を別々のAIで作る方式は表現の自由度は高いが、AI同士のズレを人手で修正する必要があった。DreamX-Creatorは最初から1つのモデルで同期させて作るため、その手戻りが少ない。加えて、7Bという比較的軽いモデルサイズで2Kの高解像度出力までカバーする設計になっている点も特徴。 使うには:コードと学習済み重みはGitHubとHugging Faceで無料公開(Apache-2.0)されており、README上は単一GPUでの実行を想定している。ただし2K仕上げ用モデルまで動かすにはそれなりのGPUメモリが必要で、日本語を含む音声・字幕の質は今後の検証が必要。

License

コード・重みともにApache-2.0表記(Hugging Face掲載情報に基づく)

Sources

Related Works

  • LTX-2.5

    テキスト・画像・映像から同期した映像と音声を生成する、別系統のオープンウェイト動画モデル

  • MiniMax H3

    音声つき動画生成を扱う競合系統の大規模オープンモデル