Centre for Digital Music, Queen Mary University of London/2026-10
ゲーム音楽の「テーマ曲」に対して、どれくらい似せるか(high/mid/low)をラベルで指定して、続きの楽曲セクションをMIDIで生成するAI。コード・学習済み重み・試聴デモが公開されている。
この研究のすごさは、「テーマにどれくらい近い曲にするか」を3段階のラベル(似ている/中くらい/似ていない)で指定して、音楽の続きを作れる点です。普通の音楽生成AIは「ゲームっぽい曲」のようにざっくり指示するしかなく、メインテーマの雰囲気を保ちつつ変化させる、という調整が苦手でした。SimLlamaは、元の曲の特徴をまとめたベクトル(曲の要約メモのようなもの)とラベルを同時に渡すことで、似せ度合いをコントロールできます。広告や体験づくりでは、ブランドのサウンドロゴやテーマ曲を軸に、場面ごとに「ほぼ同じ」「少し展開」「大きく変化」したBGMバリエーションを一括生成する、といった使い方が考えられます。ゲームやインタラクティブ展示のように、同じテーマが場面に応じて変化していく音楽設計にも向いています。出力は音声ではなくMIDI(楽譜データ)なので、好きな音源で鳴らしたり、手で直したりできるのも制作現場向きです。
仕組み:スーパーマリオの楽曲を「セクション(まとまり)」のペアに分け、既存のMIDI向け基盤モデルMoonbeam(8.39億パラメータ)に、小さな追加部品(LoRAアダプターなど)だけを足して学習しています。生成時には、前のセクション(文脈)の要約ベクトルと、sim:high/sim:mid/sim:lowの類似度ラベルを渡すと、そのラベルに見合った続きのセクションが出ます。論文では、157個の文脈に対し各ラベルで6曲ずつ生成して12種類の指標で評価し、さらに聴取実験も行っています。結果、「似せて」と頼んだ曲は実際に文脈に近くなりますが、ラベルなしのモデルと比べて差が出るのは高類似度の指定のときだけでした。 従来との違い:テキストで「雰囲気」を指定する方式と違い、「元の曲との近さ」を直接ノブのように操作できる点が新しいところです。音声ではなくMIDI生成なので、再生音源を差し替えたり楽譜として手直ししたりできます。 使うには:リポジトリ(configs・scripts/model・training・inference・評価結果などを収録)をクローンし、PythonとPyTorch(GPU推奨)を用意します。学習済みチェックポイントはHugging Faceで公開されています。READMEの注意として、最初から全工程を再現するにはMuseScore 4、Slurmクラスタ、ベースモデルの重みなどが必要で、全工程の通し再実行は未検証と書かれています。評価結果の再現だけならCPUで可能です。曲データ作成のアノテーション部分はGoogleのAPIキーを使うため、そこは自前データに置き換えるのが無難です。
コードはApache-2.0。ただしベースモデルMoonbeamの重みと学習に使ったスーパーマリオ楽曲データ(NinSheetMusicの譜面は再配布なし)の権利は別途確認が必要で、商用利用は要確認。
シンボリック計画とエージェント型編集を備えたオープンな楽曲生成モデル。
テキストや音声で操れるGoogle DeepMindのオープンウェイト・ライブ音楽生成モデル。
軽量GRUによる、人とAIのリアルタイム相互ジャム生成システム。