ResearchMan← Technology
Omnizart
Tool商用OK (MIT)#Audio/Music#CreatorTools

Omnizart

Music and Culture Technology Lab, Academia Sinica/2021-06

Overview

1曲の音声から、メロディ楽器の採譜だけでなくドラムのイベント検出、ボーカルメロディ、コード進行、ビート位置までまとめて書き起こせる、コマンド一つで使えるオープンソースの自動採譜ツールキット。

技術のポイント

『Omniscient Mozart(全知全能のモーツァルト)』を名乗るだけあって、音楽を構成するほぼすべての要素をひとつのツールでまかなえるのが特徴です。楽器の音符だけでなく、ドラムの打点、歌のメロディライン、コード進行、曲のビート(拍)の位置まで、それぞれ専用の解析モジュールをコマンド一つで呼び出して書き起こせます。バンド音源からコード譜を自動生成したり、ドラムパートだけを抜き出して打ち込みの参考にしたりと、楽曲分析のさまざまな場面で『まず何でも試してみる』ための万能ツールとして重宝します。pipで簡単に導入できるため、非エンジニアでもコマンドライン操作さえ覚えれば扱えます。

技術の詳細

内部的には、採譜対象ごとに異なるディープラーニングモデル(music・drum・vocal・vocal-contour・chord・beatの6種類)が用意されており、それぞれ個別に学習済みモデルをダウンロードして使う構成になっています。1つの万能モデルではなく専門特化したモデル群を束ねている点が、精度と扱いやすさの両立につながっています。使い方は`pip install omnizart`で導入後、`omnizart download-checkpoints`で学習済みモデルを取得し、`omnizart drum transcribe 曲.wav`のようにコマンドを打つだけです。Dockerイメージも配布されており、環境構築の手間を省きたい場合に便利です。リアルタイム処理は想定されておらず、ファイル単位でのバッチ処理が基本ですが、コード進行やビート解析まで一括でこなせる網羅性は他のツールにない強みです。

License

MITライセンス

Sources

Related Works

  • MT3

    同様にマルチ楽器を扱えるTransformerベースの採譜モデル

  • BeatNet

    ビート・ダウンビート検出に特化したリアルタイム版の代替