KAIST(Joonhyung Bae, Juhan Nam)/2026-11
ピアノ演奏のMIDIデータだけから、ピアニストの上半身〜下半身26関節の3D動きを生成する研究(ISMIR 2026)。コードと学習済み重み(GitHub Release)が公開されている。
すごいのは、音符のデータ(MIDI)を入れるだけで、ピアニストらしい体の動きが付くところです。手や指だけでなく、頭・肩・胴体・ひじ・下半身まで、26個の関節が連動して動きます。曲を聴きながら体を揺らしたり、盛り上がる場面で上体を傾けたりといった「演奏の表情」が出るよう作られています。論文では、位置の誤差の数字が良い手法ほど動きが平均的な姿勢に固まって棒立ちになりがちだという問題を指摘し、動きの豊かさを測る別の指標も導入しています。一般の視聴者28人による比較では、Pianoid の動きが、比較した他の手法や設計の一部を外した版より87〜95%の割合で好まれました。広告・体験づくりでは、実在のピアニストを撮影せずに、楽曲に合わせて演奏するCGキャラクターのMVや、コンサート映像・音楽アプリの演出、展示で曲に合わせて弾く等身大アバターなどに応用できそうです。
仕組みは4段階のリレー式です。①MIDIから両手首の位置を予測(BiLSTM)、②手首の動きから頭・胴体・肩を予測(拡散モデルMDM)、③手首と胴体からひじを予測(BiLSTM)、④背骨から下半身を予測(FiLM条件つきネットワーク)。たとえるなら、まず「どの鍵盤をどの手で弾くか」を決め、次にそれに合う上半身の揺れを決め、最後に腕と脚を矛盾なくつなぐ流れです。拡散モデルは「同じ曲でも体の揺らし方が複数ありうる」胴体の段階だけに使い、手首など曲で一意に決まる部分は軽いモデルで確実に出しています。 従来は、手や指の動きだけを生成する研究が中心でした。ピアニストの全身を26関節でMIDIから生成するのは、論文では初と主張されています。プロジェクトページには、実際の演奏記録とPianoidの出力を同じMIDIで並べ、音声と同期して見比べられるデモがあり、YouTube動画もあります。 使うには、Python 3.11 と GPU 1枚(A6000で再現確認)が必要です。学習済みチェックポイント約188MBは GitHub Release v1.0.0 で入手でき、論文の数値の再現は inference.sh でデータ準備後に10〜20分です。ただし再現には動作記録データ MOSA(約40GB)の別途ダウンロードが必要で、ゼロから学習するなら1枚のGPUで3〜5日かかります。MIDIは音符の位置と長さのみで、強弱(ベロシティ)は使えません。出力は骨格データなので、CGキャラクターに乗せるには変換作業が必要です。
コードは MIT。vendor/ 内の MDM・EDGE・aria は各自のライセンス。学習データ MOSA は CC BY 4.0 で、別途ダウンロード(約40GB)が必要。
Pianoid の胴体段階が使う拡散モデルの元になった研究。
音楽からダンスを生成する拡散モデル。音楽→全身動作の代表例。