ResearchMan← Technology
MuLaCover
Tool条件付き (Apache-2.0)#Audio/Music#CreatorTools

MuLaCover

HeartMuLa/2026-09

Overview

既存曲のメロディ・コード進行の『骨格』だけを保ったまま、歌詞やジャンル・雰囲気を丸ごと差し替えてカバー曲やリミックスを自動生成できるオープンソースAI。参照音源または鼻歌代わりのMIDIから、制御可能に楽曲を作り直せる。

技術のポイント

すごい点は、曲を『ゼロから作る』のではなく『既存の曲の芯(メロディとコード進行、任意でリズムパターン)』だけを抜き出し、そこに新しい歌詞とテキストで指定したスタイル(ジャンル・楽器編成・ムード)を組み合わせて再構築できることです。参照音源をそのまま切り貼りするのではなく、一度『メロディ譜・コード譜』のような記号的な情報に変換してから作り直すため、原曲の『聴いてわかる同一性』を保ちながら曲調をまるごと差し替えられます。歌詞を維持したまま曲調だけ変えることも、歌詞ごと入れ替えることも可能です。広告・体験づくりの観点では、①1つのジングルを地域やターゲット層向けに複数ジャンルへ瞬時に作り分けてA/Bテストする、②作曲家に発注する前の『こんな感じにしたい』というピッチ用デモを歌詞入りで即席生成する、③体験型インスタレーションで来場者が鼻歌やハミングしたメロディをその場でカバー曲風に仕立てて返す、といった使い方が考えられます。ただし後述の通り商用出力にはライセンス確認が必要です。

技術の詳細

仕組みをたとえるなら、原曲を『耳コピして五線譜に起こす』作業をAIが自動でやってくれるイメージです。参照音声を入力すると、メロディ・コード進行・(任意で)ドラムパターンという『骨組み』だけを抽出し、そこに新しい歌詞やスタイル指定(ジャンル・楽器・雰囲気などをテキストで記述)を組み合わせて、ディープラーニングのモデルが音声を再構築します。音声を使わず、あらかじめ用意したメロディ/コードのMIDIファイルから直接生成することもできます。 従来の『YuE2』や『ACE-Step』のような開放型の音楽生成AIは、テキストの指示だけで白紙から曲を作る発想でした。MuLaCoverはそれとは逆に、既存曲の骨格を起点にする『カバー曲・リミックス制作』寄りの設計になっており、原曲の『それとわかる同一性』を保ったまま編成やジャンルだけ変える、という広告制作でよくあるニーズに向いています。 利用にはLinux+NVIDIA製GPU、Python 3.10、PyTorch 2.10、CUDA 13.0という環境が必要で、現状は動画編集ソフトのような手軽さはなくコマンドライン操作が前提です。推論コードはApache-2.0で無料・改変自由ですが、公式モデル重みと生成物はCC BY-NC 4.0(非商用)で、実際の広告案件などで生成物をそのまま使う場合はHeartMuLaへの書面での商用許諾が別途必要です。まずは社内ピッチや方向性検討のプロトタイピング用途から試すのが安全です。

License

推論コード自体はApache-2.0で商用利用可。ただし公式の学習済みモデル重みと生成物はCC BY-NC 4.0+追加の利用規約(MODEL_LICENSE)が適用され、商用利用には書面での許諾が必要。

Sources

Related Works

  • YuE2

    シンボリック計画とゼロショットカバー機能を持つ大規模オープン音楽生成モデル。MuLaCoverと同じくカバー生成に対応するが白紙からの生成寄り。

  • ACE-Step 1.5

    コンシューマー向けGPUでも動く商用グレードの高効率ローカル音楽生成モデル。

  • heartlib (HeartMuLa)

    MuLaCoverの元になっているHeartMuLa本体の音楽生成モデル・推論ライブラリ。