Sean Turland, Eloi Moliner, Vesa Välimäki(アルト大学の研究者と見られる。arXivページに所属の記載なし)/2026-11
録音された音楽の「数秒〜十数秒の欠落部分」を、同じ曲の別の場所から似た文脈の断片を探し出し、それを手がかりに拡散モデルで自然に埋め直す手法。追加学習なしで既存の音楽生成モデルに差し込め、CLIとPythonで使える。
曲のサビ前など、音が途切れたり欠けたりした区間を、その曲自身の「似た場面」を参考にして自然に埋め直せる点が新しい。従来の穴埋めは前後の音だけを頼りに作るため、長い欠落になると別の曲のような音になりがちだった。SimDPSは曲の中から前後の流れが似ている箇所を探し、その断片を手本にしてAIの生成をそっと誘導する。そのため曲の雰囲気や楽器の質感が崩れにくい。広告・映像づくりでは、尺に合わせて曲を切り貼りしたときの継ぎ目をなめらかに埋める、足りない数秒をその曲らしい音で延ばす、録音事故で欠けた台詞の裏のBGMを復元する、といった使い方が考えられる。既存のBGMを短くも長くも自然に調整できるため、編集の手戻りを減らせそうだ。
仕組み:拡散モデルは、ノイズだらけの状態から少しずつ音を整えていくAIで、画像生成と同じ原理で音も作れる。SimDPSはその整える途中で、「欠けた場所の前後と文脈が似ている区間」を同じ録音の中から探し(候補数は設定で変更可)、その区間の特徴に近づくよう生成を少しずつ誘導する。文章でいうと、空欄を埋めるときに同じ文書内の似た言い回しを参考にするイメージ。追加の学習は不要で、既存の学習済みモデルをそのまま使える。 従来との違い:RePaintなど従来の穴埋め手法は、欠落部の両端の音だけを条件にするため、穴が長いと内容がぼやけたり曲調から外れたりする。著者らはこれらの手法より、音の特徴量での距離でも聴取実験(23人のwebMUSHRA)でも自然に聞こえたと報告している。似た断片の見つけ方が多少外れても結果が崩れにくい点も示されている。波形領域(ピアノ向けCQTdiff)と潜在領域(ACE-Step 1.5のオートエンコーダ)の両方に対応する。 使うには:PythonとPyTorch 2.6以上が必要。インストールは pip install "simdps[acestep] @ git+https://github.com/s-turland/SimDPSInpainting" で、実行は simdps inpaint take.wav --gap 62.5 64.5 のように欠落区間の秒数を指定する。個人PCならGPUメモリ8GB以上が推奨で、初回に約5GBの重みを取得する。Colabのクイックスタートと実験的なWebアプリも用意されている。費用はローカル実行なら無料。ただし著者はGPU環境を前提にしており、動作の再現は確認していない。
コードはMIT。内蔵のACE-Step 1.5部分はApache-2.0、CQTdiff部分はMIT。ACE-Stepの重み(約5GB)は初回に自動ダウンロードされる。重みの利用条件は各配布元で別途確認が必要。プロジェクトページの文章・音声デモはCC BY-SA 4.0。
ローカルで動くオープンソースの音楽生成モデル。SimDPSの潜在領域モードがこの基盤を利用している。
音の拡散モデルを扱うPyTorchライブラリ。音声生成の土台として広く使われている。