Spotify (Audio Intelligence Lab)/2022-06
音楽ファイルをアップロードするだけで、ボーカルや複数の楽器が同時に鳴っていても、ピッチベンドまで含めてMIDIファイルに変換できる、Spotify製の軽量な自動採譜AI。
『耳コピ』を機械にやらせる技術です。ギターやピアノ、歌声など楽器の種類を問わず、和音が重なった状態の音源からでも、どの音が何秒に鳴っていたかを検出してMIDIファイル(音符データ)として書き出してくれます。ギターのチョーキングのような音程の滑らかな変化(ピッチベンド)まで拾える点が特長で、耳で聞いた演奏をそのまま楽譜や打ち込みデータに変換したい制作者にとって強力な下ごしらえになります。広告音楽の制作現場では、参考曲の一部をMIDI化してアレンジのたたき台にしたり、ライブ演奏を採譜してリミックス素材を作ったりする用途に使えます。モデル自体は非常に軽量でスマホやブラウザ上でも動作するため、アプリへの組み込みも現実的です。
内部では短い時間ごとの音の高さ(ピッチ)や音の始まり(オンセット)を推定する小さなニューラルネットワークが使われており、CNNベースの軽量設計のおかげでノートPCでも数秒で処理が終わります。従来の自動採譜ソフトの多くは楽器ごとに専用モデルが必要でしたが、Basic Pitchは『楽器を選ばない(instrument-agnostic)』設計により、1つのモデルで様々な音源に対応できるのが従来との違いです。利用にはPythonなら`pip install basic-pitch`で導入でき、WAV・MP3・FLACなど主要な音声形式に対応、TensorFlow・CoreML・ONNXなど複数の実行形式が用意されているため、iOSアプリやWebブラウザ上でも動かせます。ブラウザ版のデモも公式サイトで無料公開されており、専門知識がなくてもすぐに試せます。
コード・モデルともApache-2.0
Basic Pitchのモデルを使ったDAW用リアルタイム寄りプラグイン
同モデルのC++/WebAssembly高速再実装