Northwestern University / Adobe Research / Wizdom Music/2026-10
音の鳴り方(強弱・音程の動き)を保ったまま音色だけを別の音へ滑らかに変える、拡散モデルのサウンドモーフィング手法。2Dパッドで音色を弾いて探れるデモ付き(ISMIR 2026)。
音の「中身(楽器や素材の音色)」だけを別の音へ変えながら、「鳴り方(音の強弱の波や音程の動き)」はそのまま残せるサウンドモーフィング技術。同じ音程のままトランペットの音が少しずつバイオリンに変わったり、ドラムのリズムはそのままで音色だけ水の泡の音へ滑らかに移ったりする。さらに画面上のパッド(四隅に4種類の音を割り当てた正方形)を指でなぞると、位置に応じて音色が混ざるので、楽器を弾く感覚で好みの音を探せる。広告・体験づくりでは、サウンドロゴのリズムを保ったまま季節や商品ごとに音色だけ変えて展開する、来場者が触れた位置で音の質感が変わるインスタレーション、既存の効果音のタイミングを保ったまま世界観に合う素材へ差し替えるサウンドデザインなどに使えそう。ただし現時点ではコード未公開で、論文とデモページのみ。
仕組みは、音を作る拡散モデル(ノイズから少しずつ音を描き出すAI)の生成途中に「この音量の波形を守る」という手がかりを毎回与える方式。たとえば元の音の音量の変化(RMSエンベロープ)や音程の線を型紙のように固定し、その型紙の中身だけをテキスト指示(「ブラス」→「ストリングス」など)に向けて塗り替えていく。追加の学習は不要(training-free)で、テキスト→テキスト、録音→テキスト、録音→録音の3種類のモーフィングに対応する。 従来の拡散モデルによる音のモーフィングは、リズムの形と音色が絡み合っており、片方だけを固定できなかった。smorphは「時間構造は固定、音色だけ変える」と分けられるため、変化の途中の音も打楽器なら打楽器らしい打点を保つ。5×5の事前生成グリッドを使い、2Dパッド上でリアルタイムに音を行き来できるデモ(SoundCanvas)も公開され、ミュージシャンによる試用でも「表現的で演奏できる」と評価されたという。 使うには、現状は公式デモページ(ブラウザ)で試すのみで、手元で動かすコードや重みは公開されていない。研究はNorthwestern UniversityとAdobe Research、Wizdom Music(Jordan Rudess)の共同で、ISMIR 2026採択。商用利用の可否は未定のため、実案件で使うなら公開を待つか、論文の手法を再実装する必要がある。
コード・重みは未公開。ライセンス不明で、現状はデモページと論文のみ。
Stability AIの音声生成モデル学習・推論用ライブラリ。拡散ベースの音生成の土台
生成の途中からノイズを足して戻す編集手法。smorphの録音→テキスト変換でも利用
テキストから効果音・音楽を作る潜在拡散モデルのOSS実装