Google Magenta/2022-03
1本の音源ファイルから、ピアノだけでなくドラムやギター、管楽器など複数の楽器パートを同時に、それぞれ別のMIDIトラックとして書き起こせるTransformerベースの自動採譜モデル。
従来の自動採譜AIの多くは『ピアノ専用』『ドラム専用』のように楽器ごとに専用モデルを用意する必要がありました。MT3は自然言語処理で使われるTransformer(文章の翻訳などに使われる技術)の仕組みを応用し、音声を『楽器名つきの音符イベント列』というテキストのような系列に変換して出力することで、1つのモデルだけでバンド編成の楽曲を楽器ごとに仕分けてMIDI化できるようにした研究成果です。バンドサウンドの曲を『ドラムトラック』『ベーストラック』『ギタートラック』に自動で仕分けてDAWに取り込めるようになれば、リミックスや教材制作、AIによる自動アレンジの下準備が大きく効率化します。
仕組みは、音声をスペクトログラムに変換したうえで、それを『いつ・どの楽器の・どの高さの音が鳴ったか』を表すトークン列としてTransformerモデルに予測させるというものです。画像を見て説明文を生成するAIに近い発想で、音を『聞いて言葉にする』代わりに『聞いて演奏データにする』と考えると分かりやすいでしょう。ピアノ専用モデル(ISMIR 2021)と複数楽器対応モデル(ICLR 2022)の2種類のチェックポイントが公開されており、公式のColabノートブックを開けば手元の音声ファイルをアップロードするだけで試せます。ただし現時点では公式サポートが終了した実験的リポジトリという位置づけで、学習用コードは含まれず推論のみ利用可能です。リアルタイム処理ではなくバッチ処理での書き起こしを想定した技術です。
コードはApache-2.0だが公式メンテナンス終了の実験リポジトリ
複数の採譜タスクをコマンド一つで扱えるツールキット
軽量で単純な音符検出に特化した採譜モデル