ResearchMan← Technology
Ctrl-LFM Guitar Synth (Expressive Guitar Synthesis via Controllable Latent Flow Matching)
Research条件付き (MIT)#Audio/Music

Ctrl-LFM Guitar Synth (Expressive Guitar Synthesis via Controllable Latent Flow Matching)

Hsueh-Wei Fu, Yen-Tung Yeh, Yi-Hsuan Yang(所属は未記載)/2026-10

Overview

楽譜(MIDI)から6弦ギターの演奏音を作るAIで、弦ごとの音程と音量の曲線を先に作って編集できる。コード・チェックポイント・試聴デモが公開されている。

技術のポイント

従来のMIDI→音声AIは、どの弦で弾くか、チョーキングのような音程の揺れ、強弱といった「弾き方」をAIの内部に任せてしまうため、仕上がりを人が直せませんでした。この手法は、まず音符から弦ごとの音程と音量の曲線を予測し、その曲線を人が編集できる状態で出力し、次にその曲線に沿って音声を生成します。論文では、1段で直接生成する同条件のモデルやDDSP-Guitarより制御の正確さと聴感品質が高いとされています。広告・体験づくりでは、実際のギタリストを呼ばずに曲のデモや映像用BGMのギターパートを作り、ビブラートや強弱だけを後から手直しする使い方や、ゲーム・展示で弾き方をパラメータで動かせる楽器体験が想定できます。

技術の詳細

仕組み:第1段階で、音符のタイミングと強弱から「弦ごとの音程カーブと音量カーブ」を予測します(READMEでは音量予測・エンベロープ予測・6弦同時の合成の3段構成)。第2段階では、そのカーブを条件に、ノイズから少しずつ音の圧縮表現(潜在表現)を作る「フローマッチング」というやり方で6弦分の音を生成し、凍結したStable Audio Open 1.0のデコーダで波形に戻します。譜面の下書きに続いて清書をする二段階の作図に近く、途中の下書き(カーブ)を直せるのが特徴です。 従来との違い:MIDIから直接音を出す方式は弾き方の詳細を暗黙に学ぶため操作できず、DDSP系は表現力に限界がありました。本手法は中間のカーブを編集可能な形で出す点が新しく、デモページでは譜面からの合成と正解音の比較、弦ごとの分離試聴、63〜185秒の長尺生成(GAPSデータセットの楽譜)が確認できます。ICASSP 2027投稿中の研究で、リポジトリは2スター・リリースなしの初期段階です。 使うには:Python 3.10環境で依存ライブラリを入れ、Hugging Faceにログインしてトークンを設定し、Stable Audio Openの利用条件に同意する必要があります。チェックポイントはHugging Faceで配布されています。商用で使う場合はStability AI Community Licenseの条件確認が必須です。

License

コードはMIT、学習済みチェックポイントはCC BY 4.0。推論に使うStable Audio Open 1.0はStability AI Community Licenseへの同意とHugging Faceトークンが必要。

Sources

Related Works

  • DDSP

    Magentaの微分可能な信号処理による楽器音合成ライブラリ(比較対象)。

  • stable-audio-tools

    条件付き音声生成モデルの学習・推論ツールキット(MIT)。本手法の土台。