ResearchMan← Technology
AutoSynth
Research商用OK (Apache-2.0)#Audio/Music#CreatorTools#AI/Agents

AutoSynth

Gus Xia 研究グループ(Tristan Wu, Daniel Chin, Liwei Lin, Junan Zhang, Gus Xia)/2026-10

Overview

「太いベース」のような文章や参考音を渡すと、完成した音そのものではなく、シンセサイザーのつまみの設定一式(音符・パラメータ・モジュレーション配線)を作ってくれるAI。出てきた音は、あとから人間がつまみで微調整できる。

技術のポイント

普通の音声生成AIは、できあがった波形(録音ファイルのようなもの)しか返さないので、「あと少し明るく」「リリースを短く」といった修正がほぼできません。AutoSynthは、波形ではなくシンセの設計図にあたる「プログラム」を出力します。音符の並び、音色を決める各パラメータ、音を時間変化させるモジュレーションの配線までを一度に生成し、結果はシンセ上で普通のプリセットのように開いて編集できます。公式デモでは、ベース、オルガン、効果音、パッド、アルペジオ、テクスチャの6種類を、参考音から再現する例とテキストから作る例の両方で聴き比べられ、既存の3手法(Synth Permutations、DDSynth-RL、CTAG)との比較も載っています。広告や映像の現場では、「このCMの雰囲気の音を、自分のシンセ環境で作り込める状態で出してほしい」という場面に向きます。サウンドロゴの試作や、体験型展示の効果音をその場で調整する用途に使えそうです。

技術の詳細

仕組みは、翻訳に近い考え方です。「音(または文章)」を入力すると、モデルがシンセの「レシピ」を文章のように1語ずつ書き出します。レシピには、鳴らす音符、Helmの各パラメータの値、どの部品がどの部品を揺らすかという配線が含まれます。学習には、Helmのプリセットから作った約200万組の「音とレシピ」のペアを使います。さらに文章入力に対応するため、テンプレートから10万件の説明文を作り、Stable Audio 3で対応する音を生成してから、同じ「音→レシピ」モデルに通して学習させています。そのため、文章とレシピを人手で対応づけたデータは不要です。 従来は、MIDIだけ、パラメータだけ、といった一部分しか扱えないことが多く、長さの変わるモジュレーション配線まで同時に作る手法は少数でした。論文では、音の近さを測る指標(CLAP距離)が合成音のテストセットで0.37となり、比較手法の0.49〜0.54より近いと報告されています。人による評価でも最高評価でした。制約として、対象はHelmのみで、編集できるのは5秒ほどの短い音に限られます。他のシンセへの拡張はまだ行われていません。 使うにはPythonの実行環境と学習・推論用のGPUが必要です。リポジトリには推論(infer.py)、学習(train_sft.py、train_grpo.py)、評価、データ生成のスクリプトがそろっています。費用はかかりません。ただしライセンス表記がプロジェクトページに無く、事前学習済みの重みの入手先もREADMEからは確認できなかったため、まず自分で動かせるかを試す段階の研究コードと考えてください。公開されたばかりでスターは0です。

License

コードはApache-2.0。ただし学習済みチェックポイントの配布場所はREADME上で確認できず、すぐ動かせるかは未確認。出力の再生にはGPL-3.0のオープンソースシンセ Helm を使う(Helmは2025年2月にアーカイブ済み)。

Sources

Related Works

  • Helm

    AutoSynthが出力先に使う、無料のオープンソース・ポリフォニックシンセ(GPL-3.0、2025年2月にアーカイブ済み)

  • stable-audio-tools

    Stability AIの条件付き音声生成の学習・推論ツールキット。AutoSynthが文章入力の学習データ作りに使うStable Audioの系列