Tengjiao Sun ほか(Hansung Kim 研究グループ)/2026-10
骨格ファイル(BVH)だけを渡せば、未知のキャラクターでもテキストから動きを生成できるモデル。4〜117関節の骨格に1つのモデルで対応する。
従来のテキストからの動き生成は、人型など決まった骨格ごとに学習されており、翼のあるキャラやロボット、モノのキャラを動かすには、その骨格専用のモーションデータ集めや再学習が必要でした。TopXは、キャラクターの骨の親子関係・初期ポーズ・関節名だけを読み取り、「Objectが前に歩いて座る」といった文章から、その骨格にそのまま使える回転と移動の動きを作ります。モーションのお手本も、他の骨格への変換作業(リターゲット)も、追加学習も要りません。広告やブランド体験では、商品キャラや擬人化したモノ、変則的な骨格のマスコットなど、既存のモーションライブラリに合わないキャラを短時間で試し動かしできます。絵コンテ段階の動きの検証や、リグ済みキャラの仮アニメーションを大量に出すプリビズ用途に向いています。出力はBVHなので、BlenderやUnity、Unrealにも渡せます。
仕組み:骨の接続関係を「地図」のように扱い、関節どうしの位置関係を熱の広がり方(ヒートカーネル)で数値化します。その情報を、関節の順番が変わっても結果が変わらない形でAIの注意機構に組み込んでいます(論文ではHK-RoPEと呼ばれます)。生成には73Mパラメータのフローマッチング・トランスフォーマーを使います。フローマッチングは、ノイズから少しずつ動きへ整えていく生成方式です。骨格の大きさと初期ポーズで動きを正規化するので、小さなキャラにも大きなキャラにも同じモデルで対応できます。最大240フレームまで生成できます。 従来との違い:これまでは骨格ごとの学習データやリターゲットが前提でした。TopXは骨格ファイルだけを入力にします。リポジトリには9種類のデモ骨格があり、テキストエンコーダ無しで試せます。出力はnpz・確認用GIF・入力骨格に動きを当てたBVHです。 使うには:Python環境、重み(Hugging Face)、NVIDIA GPUが必要です。自分のプロンプトを使う場合は、テキスト埋め込み用に約16GB(bf16)のLLM2Vecを読み込むため、VRAM 16GB級が目安です。費用はかかりません。ゲート付きLlama-3の利用同意は必要です。学習コードとベンチマークは今後追加予定と明記されています。
コードはMIT。重みはHugging Face配布。テキスト埋め込みに使うLLM2VecはゲートされたLlama-3ベースで別途ライセンス同意が必要
人型向けのテキスト→3Dモーション生成モデル(コード・重み公開)
Ubisoftのモーションキャプチャデータセット。モーション研究の標準的な比較対象