Sweet Spot Sound System/2025-09
曲を再生しながら「ボーカル」「ドラム」「ベース」「その他」の4トラックにわずか11.6ミリ秒の遅延でリアルタイム分離するオープンソースのDJ/DAW用プラグイン。
音楽を聴きながらその場でボーカルやドラムだけを抜き出したり音量を変えたりできる技術です。従来のAI音源分離は曲全体を数秒〜数十秒かけて処理してから書き出す「後処理」が主流でしたが、StemgenRTは人の反応速度よりも速い11.6ミリ秒という遅延でステムを分離するため、ライブDJセットの最中に『今流れている曲のボーカルだけを空間の一点に定位させる』『ドラムだけをその場でフィルターにかける』といった演出がリアルタイムに行えます。VST3/AUプラグインとして無料配布されており、広告や体験型イベントの音響演出、インタラクティブなライブパフォーマンス、来場者の声かけに合わせて楽曲の一部を操作する仕掛けなど、『音楽の要素をその場で操る』体験づくりに直結する技術です。
仕組みとしては、音声を細かい時間の断片(フレーム)に区切りながら、AIモデルHS-TasNetが周波数分析(スペクトログラム)と波形分析の両方を組み合わせて瞬時に4つの音源を推定します。楽譜の書き起こしのように後から直すのではなく、耳で聞いた端から仕分けていくイメージです。従来のDemucsなどの高精度モデルは曲の全体を先読みする必要があり数秒〜十数秒の遅延が生じましたが、この技術は先読みなしで処理できるよう設計を工夫した点が従来との違いです。導入にはJUCEベースのVST3/AUプラグインをダウンロードしてDAWやDJソフトに読み込むだけで、サンプルレートを44.1kHzに固定する必要がある以外は特別な機材は不要です。macOSは自己署名の許可設定が必要ですが、ライセンスはMITで商用利用も可能です。
VST3/AUプラグイン本体がMITで商用利用可能
StemgenRTが内部で使う低遅延音源分離モデルの原論文実装
同様の狙いを持つ商用のリアルタイムステム分離プラグイン
オフライン型だが高精度な定番の音源分離アプリ