Yoshiyuki Kobayashi (Frieve-A)/2026-10
ライブ演奏の音から「今どの音が鳴っているか」を20ms刻みで即座に推定し、あとから修正していく軽量AI。CPU1スレッドで動き、コードと重みも公開されている。
従来の採譜AI(音を聞いて音符に直すAI)は、曲を丸ごと聞いてから答えを出すものが多く、ライブ中に使うには遅れが大きすぎました。JIT-MPEは約8.6万パラメータと非常に小さく、20ミリ秒ごとの音声に対してまず即答し、その後の160ミリ秒分の音を聞きながら同じ場所の答えを段階的に直していきます。締め切り(50ms)までに出した答えだけで採点しても、曲全体を聞ける6種のうち5種の既存手法より高精度という結果です。広告・体験づくりでは、演奏に合わせて映像やライティングが遅れなく反応するライブ演出、楽器を弾くと画面上で音符が即座に光る体験型展示、歌や演奏に追従するインタラクティブ広告などの「音を入力にした作品」の土台として使えそうです。作者は日本の個人開発者で、同氏のEffeTuneと組み合わせた実時間利用も示唆されています。
仕組み:入力はピアノの音域(88音)に対応する44.1kHzの音声です。モデルは20ミリ秒ごとのフレームを見て、どの音が鳴っているかと細かい音程のずれを出力します。出力口(ヘッド)が5つあり、「その場」「20ms後」「40ms後」「80ms後」「160ms後」までの追加の音を聞いた時点の答えをそれぞれ返します。ライブ表示にはまず最初の答えを使い、少し待てる用途では遅い答えに差し替える、という使い分けができます。たとえるなら、話を聞きながら先に相槌を打ち、続きを聞いてから言い直せる通訳のようなものです。 従来との違い:既存の採譜モデルは曲全体を見られる前提(オフライン)で作られ、締め切り付きで評価されていませんでした。本研究は「締め切りまでに出せた答えだけで採点する」評価を導入し、9つのデータセットで比較しています。最も遅いフレームでもCPU1スレッドで4.15msと、リアルタイムに十分収まります。ピアノ音域に限られる点、締め切りなし条件では別の学習済み比較手法が一部のデータで上回る点は留意が必要です。 使うには:Python 3.10以上でCLIまたはPythonから推論でき、学習済み重み(7システム×3シード)がリポジトリに含まれるため、GPUなしのPCでも試せます。論文の再現学習には外部データセットとRTX 4090で約10GPU時間が必要です。MITライセンスで商用利用も可能です。
コードと学習済み重みはMIT。学習に使うデータセットや比較対象システムは各自のライセンスに従う(THIRD_PARTY.md参照)。
Spotifyの軽量な音声→MIDI変換ライブラリ。オフライン処理が中心。
同作者によるMITのリアルタイム音声エフェクト処理アプリ(ピッチ解析器も搭載)。