Sevag Hanssian(個人開発)/2024-05
SpotifyのBasic PitchモデルをC++20で再実装し、ONNX RuntimeとWebAssemblyでネイティブアプリやブラウザ上でも高速に動かせるようにした軽量版音声→MIDI変換ツール。
Basic Pitch本家はPython製で、サーバーやパソコンでの利用が前提でした。basicpitch.cppは同じAIモデルをC++で書き直すことで、依存ライブラリが軽くなり、ブラウザ上で動くWebAssembly版は本家の公式デモよりも高速に動作すると報告されています。これにより、DAWのプラグインや軽量な組み込み機器、ブラウザだけで完結するWebアプリなど、Pythonの実行環境を用意できない現場でも『音声から楽譜・MIDIへの変換』機能を組み込める可能性が広がります。イベント会場でその場で演奏した音をブラウザ上で即座に採譜して見せる、といった軽量なインタラクティブ展示にも応用できます。
中身の推論モデル自体はSpotify版と同じものを使っており、精度は本家と変わりません。違うのはその周りの実行環境で、ONNXRuntimeとlibremidiというライブラリだけで動くように作り直されているため、Pythonのインストールが不要になり、配布サイズも小さくなっています。使い方はコマンドラインで`basicpitch 音声ファイル 出力先`と打つだけのCLI版のほか、ブラウザでHTML/JSファイルを配信するだけで動くWeb版も用意されています。特別な機材は不要で、開発者であればソースをクローンしてビルドするか、公開されているWebデモをそのまま利用できます。
MITライセンス
元となったSpotify製Python版モデル
PyTorch移植版の同モデル