HKUST / Noiz AI ほか/2026-10
映像を100ミリ秒ずつ流し込みながら、その場で48kHzのステレオ音を生成する「映像→音」モデル。再生中でも文字の指示を書き換えて音を変えられる。
リアルタイムの1倍速より速く(論文のRTF 0.41)、映像に合わせた立体的なステレオ音を生成し続けられるのがすごい点です。さらに、途中で「雨の音から雷の音へ」のように文字の指示を差し替えると、音がその場で変わります。広告・体験づくりでは、ゲーム風の生成世界(ワールドモデル)や、その場で絵が変わるインスタレーションに合わせて、音を即興で鳴らす演出に使えそうです。たとえば来場者の動きで映像が変わる展示で、映像に追従する環境音を事前収録なしで出す、といった使い方です。映像完成後にFoley(効果音)をつける作業の下書きを作る用途にも向いています。ただし、論文のとおり研究用で、音が映像の出来事とずれたり、ノイズが入ったりすることがあります。商用利用もできません。まずはアイデア検証向けです。
仕組みは、映像を短い区間に区切って順番に処理し、「過去だけを見て次の音を作る」(因果的な自己回帰拡散)方式です。拡散モデルは、ノイズだらけの状態から少しずつ音を整えていく生成の仕組みです。それを、数十分の映像をまとめて処理するのではなく、100ミリ秒ごとの小さな塊に分けて回します。だから映像が届くそばから音が出ます。文字の指示には時間の目印を付けられ、「3秒目から風の音に切り替え」のような指定も可能です。ステレオ感は、ステレオ音源やアンビソニック(全方向の音の収録形式)のデータで学習して出しています。 従来の映像→音モデル(MMAudioなど)は、動画全体を見てからまとめて音を作る方式が中心でした。そのため、生成中に指示を変えることはできませんでした。WorldSonusは、最初から「流れてくる映像に追従して鳴らす」ことを目的に作られています。 使うには、Python 3.10以上、CUDA対応GPU、FFmpeg、PyTorch(CUDA 12.4)が必要です。コードはGitHubにあり、重みはHugging Faceからダウンロードできます。実行は `python -m worldsonus.infer --video input.mp4 --prompt "…" --output output.wav` のようなコマンド1行です。別途DINOv3とT5Gemma 2のエンコーダーを取得する手間があります。
コード・重みともCC BY-NC 4.0(非商用)。DINOv3、T5Gemma、stable-audio-toolsなど外部部品は各自のライセンスに従う。学習コードとデータは未公開。
映像・テキストから同期した音を作るCVPR 2025のモデル。全体を見てからまとめて生成する。
映像に合わせた48kHzの効果音を生成するTencentのモデル。