timoncool(個人開発)/2026-10
歌付きの楽曲を手元のNVIDIA GPUで作れるデスクトップアプリ。生成結果が楽譜(ABC記法)として見え、音符・テンポ・調を直して作り直せる。
すごい点は、AIが作った曲が「ブラックボックスの音声ファイル」で終わらず、楽譜として画面に出て、音符やテンポ、調、コード、ドラムを人間が直してから再生成できることです。曲の骨格(作曲)は保ったまま、演奏や歌い方だけを変えられます。既存の録音からメロディを書き起こして別ジャンルで歌わせるカバー機能、6パートへの音源分離、MIDI書き出しも入っています。広告・体験づくりでは、ブランドソングやジングルの案を数分で複数作り、メロディだけ人間が手直しして仕上げる使い方ができます。長さは最大10分まで作れるため、展示や店頭の長尺BGMにも向きます。クラウドに素材を送らず手元で動くので、未公開の企画の音を外に出したくない案件でも扱いやすいのが利点です。
仕組み:YuE2という歌付き楽曲生成モデルを、C++/CUDAで動かすyue2.cppに移植し、その上にRustとReactで作ったTauriアプリを載せています。モデルがまず曲をABC記法という文字ベースの楽譜として書き、次にその楽譜に沿って歌と伴奏の音を作る二段構えのため、途中の楽譜に人が手を入れられます。保存した音声コードから同じ演奏を再現する「Exact replay」もあります。 従来との違い:従来の歌付き音楽生成はプロンプトを変えてガチャを回すだけで、気に入った部分だけ直すことが困難でした。このアプリは楽譜とMIDIエディタを間に挟み、構成を固定した修正ができる点が違います。なお掲載済みのYuE2(モデル本体)やSheetSage2とは別物で、これらを使いやすい制作ツールにまとめたものです。 使うには:Windows x64のインストーラーまたはポータブル版(リリースv3.8.2、2026-10-27)が配布されています。Linux(deb/AppImage)とmacOS dmgもありますが実験的扱いです。推奨はVRAM 6GB以上のNVIDIA GPUで、作者は主にRTX 4090で検証しています。モデル重みは別途取得し、CC BY-NC 4.0の条件を確認してください。LoRAによる追加学習や、AIエージェントから操作するMCPサーバーも備えています。
アプリ・yue2.cppはMIT。モデル重みはCC BY-NC 4.0(個人クリエイター向けの許可あり)、SheetSage2等はCC BY-NC 4.0。商用利用は重みの条件を要確認。
ACE-Step等を載せた別のローカル音楽生成アプリ。
ACE-Stepのggml/C++推論エンジン。ローカル音楽生成アプリの共通基盤の一つ。