Multimodal Art Projection (M-A-P)/2026-09
歌詞とスタイル指定から、人間が読んで直せる「楽譜」を経由して本格的な楽曲を作る音楽生成AI。日本語ボーカルにも対応し、無料でローカル実行しながら有料サービスSuno 5に匹敵する品質を狙う。
多くの音楽生成AIは、歌詞と「明るいポップス調で」のような指示を入れると、いきなり完成した音声ファイルが出てくる「ブラックボックス」型でした。YuE2がすごいのは、その手前に「楽譜」という人間が読み書きできる中間データを挟んだことです。メロディやコード進行、Aメロ・サビといった曲の構成が目に見える形で出力され、演奏に変換する前に人間やAIエージェントがそこを修正できます。たとえるなら、AIが一発で完成品のケーキを焼いて渡すのではなく、先にレシピと設計図を見せてくれて「もう少し甘さ控えめに」と直してから焼いてもらえるイメージです。広告や映像制作の現場では、AIが作った曲の「サビだけもう少し盛り上げたい」「歌詞は変えずにジャンルだけロックに寄せたい」といった細かい修正要望が日常的に発生しますが、YuE2はその修正を音声を作り直さずに楽譜レベルで行える点が既存ツールと大きく異なります。日本語ボーカルにも対応しており、CM曲やオリジナルソングのラフ案を素早く量産する用途に向いています。
仕組みを少し詳しく説明すると、YuE2はまず歌詞とスタイル(ジャンルや雰囲気)の指定を受け取り、「ABC記譜法」というテキストベースの楽譜フォーマットでメロディとコードを書き出します。これは五線譜の代わりに文字と記号で音の高さや長さを表す昔ながらの記法で、テキストエディタでも編集できるほど軽量です。この楽譜案をユーザーが確認・修正した後、同じAIモデルがボーカルと伴奏を含む48kHzのステレオ音声としてレンダリングします。開発元は既存曲のカバー生成や、AIエージェントによる自動編集も同じモデル内で完結できるとしています。 従来のSunoやUdioのような主要ツールは、テキスト指示から一気に音声を生成する一方通行の仕組みで、途中経過に手を入れる余地がほとんどありませんでした。YuE2は開発陣が「白箱型(ホワイトボックス)音楽生成」と呼ぶ通り、生成過程の途中に人間が介入できるチェックポイントを意図的に設けている点が最大の違いです。またモデルサイズも3B(30億パラメータ)と比較的小さく、動作要件を抑えつつSuno 5相当の評価を得たと発表されています(開発元による自己評価のため参考値として捉える必要はあります)。 実際に使うには、Linux環境でNVIDIA製GPU(24GB以上のVRAM、例えばRTX 3090/4090クラス)が必要です。Python 3.12の環境を用意し、GitHubからソースコードを取得して`pip install`するだけで、モデルの重みはHugging Faceから自動でダウンロードされます。手元にハイエンドGPUがないとローカル実行は難しいため、試すにはクラウドGPUを借りるのが現実的な選択肢になります。前述の通りモデル重みは非商用ライセンスのため、社内での企画検証やラフ案作りには使えますが、そのまま納品物の音源として使う場合はライセンス面の追加確認が必要です。
コードとドキュメントはApache 2.0で商用利用も可。ただし公開されているモデルの重みはCC BY-NC 4.0で非商用利用限定のため、広告制作など商用の最終成果物に使う場合は自前のデータで学習し直すか、別途ライセンス確認が必要。
同じ開発チームによる前身の全曲生成モデル。歌詞から音声を直接生成する方式で、YuE2はここに楽譜編集ステップを追加した後継版。
Apache 2.0ライセンスのオープンな音楽生成モデル。リミックス・カバー機能に強みがあり、YuE2とは異なるアプローチで無料の音楽生成を実現。
有料の商用音楽生成サービス。YuE2が性能比較の対象としているベンチマーク相手。