Multimodal Art Projection (M-A-P)/2026-10
曲の音源(mp3など)から、メロディ・コード・拍・キー・曲の構成を読み取り、編集できる譜面(ABC記法)とMIDIに変換するAI。モデルの重みと推論コードが公開されている。
音源を入れるだけで、メロディとコード進行を並べた「リードシート」(歌とコードだけを書いた簡易楽譜)と、メロディ用・コード用のMIDIが出てくるのがすごい点です。拍の位置、キー、サビなどの曲の区切りも同時に取れます。出力はABC記法やMIDIなので、そのままDAW(音楽制作ソフト)や譜面ソフトで直せます。広告・体験づくりでは、参考曲のコード進行を素早く把握して企画用の仮アレンジを作る、既存曲を別ジャンルにアレンジし直す前の下書きにする、といった使い方ができます。ライブ演出で、曲の拍や構成にあわせて映像や照明を切り替えるタイムライン(JSON/LAB形式)を自動で作る用途にも向いています。プロの採譜を丸ごと置き換えるものではなく、「耳コピの一次下書きを数分で出す」道具と考えると使いどころが見えます。
仕組みは3段階です。まず、約40万件のMIDIデータを音声に変換して「答え付きの練習問題」を大量に作ります。次に、音楽理解モデル(MERT-v2-FullSong)が音源の特徴を取り出し、そこから拍・コード・メロディを予測します。予測結果は、テンポが途中でぶれない、拍の位置がそろう、オクターブを取り違えないといった音楽のルールで整えます。最後に、この整える処理で得た結果を小型のモデル(BARTという文章生成型の仕組み)に覚えさせます。これで本番の処理では、複雑な後処理なしで一気に譜面の元になる記号の並びを出せます。従来のSheet Sage(2022年)より、15の評価項目のうち12で上回ったと論文は報告しています。 使うには、Python 3.10〜3.11とFFmpegを用意し、Hugging Faceからモデルを呼び出します。モデルは約5700万パラメータで、重みは約229MBです。GPUがなくても動かせる規模ですが、速度は環境しだいなので試してみる必要があります。コードは `AutoModel.from_pretrained("m-a-p/SheetSage2", trust_remote_code=True)` のあと `model.transcribe("song.mp3")` と書くだけです。ライセンスは非商用(CC BY-NC 4.0)なので、社内の検討やリサーチ用途にとどめ、納品物への組み込みは避けるのが安全です。
HuggingFaceのモデルカードはCC BY-NC 4.0(非商用)。arXiv論文ページの記載はCC BY 4.0で食い違うため、商用利用は不可とみなして扱う。
初代のリードシート採譜システム。Docker経由で曲からPDFやMIDIを作る。
Spotifyの軽量な採譜ライブラリ。音声をMIDIに変換する(メロディ・コードの区別はしない)。