ResearchMan← Technology
NeuralNote
Tool商用OK (Apache-2.0)#Audio/Music#CreatorTools

NeuralNote

Damien Ronssin (DamRsn)/2023-08

Overview

DAW上で演奏や録音をした音声をほぼその場でMIDIノートに変換できる無料のオーディオプラグイン。Spotify製Basic Pitchモデルを内部で利用。

技術のポイント

ギターやボーカルを弾き語りしながら、その演奏をそのままMIDIデータとして取り込みたいというクリエイターの声から生まれたプラグインです。DAW(音楽制作ソフト)にVST3やAUとして読み込むだけで、録音したトラックや再生中の音声をポリフォニック(和音含む)に解析し、ピッチベンドまで反映したMIDIノートを生成してくれます。厳密な意味でのゼロ遅延ではなく百数十ミリ秒程度の遅延がありますが、演奏しながらほぼその場でMIDI化される感覚で使えるため、鼻歌やギターのフレーズをその場でシンセ音源に差し替える、といった作業が劇的に速くなります。広告音楽制作の現場で、担当者の弾いた仮メロディをすぐに別の音色で試聴したい場合などに便利です。

技術の詳細

仕組みとしては、Constant-Q変換という周波数分析手法で音を細かく解析したうえで、畳み込みニューラルネットワーク(CNN)が音の高さと長さを推定します。ただし公式README曰く、この解析には1秒以上先の音まで見て判断する非因果的な処理が含まれるため、真の意味でのゼロ遅延ではなく、実測で約120ミリ秒程度の遅延が発生するとされています。それでも『録音してから書き出す』という従来のオフライン処理に比べれば体感的にはほぼ即時で、DAW上でパラメータをリアルタイムに調整しながら試行錯誤できる点が従来との違いです。Windows・macOS・Linuxに対応し、GitHubのリリースページからインストーラーをダウンロードするだけで、追加の機材やクラウド契約なしに無料で使えます。

License

Apache-2.0ライセンス

Sources

Related Works

  • Basic Pitch

    内部で使用されているSpotify製の採譜モデル

  • basicpitch.cpp

    同系統モデルのより低遅延なC++実装