hyz317(研究グループ)/2026-10
1枚の画像から、ゲームやアバター用の「ヘアカード」(髪の毛束を表す板状メッシュ)と、それを揺らすスプリングボーンを同時に生成する。VRMでも書き出せる。
1枚のイラストやレンダリング画像から、そのままゲームやVTuber用アバターに載せられる髪を作れる点がすごい。髪型を「髪束の板(カード)の集まり」として一気に生成し、さらに風や頭の動きで揺れる骨(スプリングボーン)まで自動で付ける。従来手法CHARMと比べて形の誤差は44%減り、カード生成は約33倍速い(33.7秒→1.01秒)。広告・体験づくりでは、キャラクターの髪型をキャンペーンごとに差し替えたいVTuber型の広告キャラや、リアルタイムで動くマスコットの制作で、手作業のモデリングを大幅に短縮できそう。コンセプトアートからゲームエンジンやブラウザ上で動くアバターまでの試作を、1日で何パターンも回せるようになる。
仕組みは、髪全体を「順番のないカードの集合」と考える点にある。各カードを1つのトークン(AIが扱う最小単位)に変換し、Set Diffusion Transformerという生成モデルが全カードを同時にノイズ除去して髪型を作る。たとえるなら、バラバラの紙片を一度に並べて髪の形に整えるイメージ。続いて2つ目のモデルが、カードを揺らすボーンの連なり(チェーン)を生成し、スキニング(骨とメッシュの紐付け)でつなぐ。出力はUV座標付きのGLBメッシュで、VRMアバターとしても書き出せる。 従来のCHARMは制御点を1本ずつ順番に生成していたため遅く、画像ベースの手法は写実的な髪や、ひとかたまりのメッシュを出すものが多かった。HairDeckは個々のカードを保ったまま、アニメーション前提のアセットを出す点が違う。点群入力にも対応する。 使うにはLinux、NVIDIA GPU(PyTorch 2.8 / CUDA 12.8で検証)、Python 3.12、Blender 4.2 LTSが必要。重みはHugging Faceで配布され、SAM 3とDINOv3は利用承認とログインが必要。ブラウザで試せるHugging Face Spacesのデモもある。費用はOSSで無料だが、環境構築にはPythonとGPUの知識がいる。
コードとチェックポイントはApache-2.0。SAM 3・DINOv3などサードパーティのモデルは各ライセンスに従う(ゲート付きで承認が必要)。
ヘアカードを制御点列の自己回帰で生成する従来手法。HairDeckの比較対象で、データセットも共有。
ブラウザ上で試せる公式デモ。
手法の詳細と比較実験。