KAIST(Kwan Yun, Junyong Noh ら)/2026-11
ぼやけ・伸び・ちらつきが出た Gaussian Splatting 製の頭部アバターを、1枚の本人参照画像と1ステップ拡散モデルで補修する手法。補修結果は元の3Dアバターに焼き戻されるため、描画速度は落ちない。
Gaussian Splatting(無数の半透明の点で3D物体を表現する技術)でつくった顔アバターは、少ない映像から作ると、ぼやけたり、横に伸びたり、動かすとちらついたりしがちです。EDGAR はこの傷んだ映像を、本人の参照画像を手がかりに拡散モデル(画像生成AI)で直し、直した複数視点の画像を教師にして、アバター本体の3Dデータを一度だけ更新します。その後は元のアバターと同じ方法で描画できるので、リアルタイム性を保ったまま質だけが上がります。広告・体験づくりでは、社員や出演者の顔を短時間のスマホ撮影でアバター化し、イベントのインタラクティブ展示、バーチャル接客、ゲーム内のなりきりコンテンツなどに使う場面で、撮影量を減らしつつ顔の破綻を抑える後処理として使えそうです。論文では、1人分の補修は RTX 3090 で約5〜17分とされています。
仕組みは、まず「わざと壊した画像」と「正しい画像」のペアを大量に作り、壊れ方を直す1ステップの拡散モデル(SD-Turbo ベース)を学習させるところから始まります。直すときに顔が別人にならないよう、Sapiens という人体向け基盤モデルから取り出した「本人らしさの特徴」を融合ブロックでモデルに注入します。さらに、ぼやけ・伸びなど壊れ方の種類や強さごとに担当を分ける Mixture-of-Experts 構造を採用しています。補修した複数視点の画像は、1体のアバターを最適化し直すための擬似的な正解になります。このため、描画のたびに拡散モデルを回す必要はありません。 従来の「出力した各フレームを後から画像補正する」方式は、毎フレーム重い処理が要り、フレーム間でちらつきやすいという弱点がありました。EDGAR は3D側を直す方式で、論文によると CAP4D は 50.3→49.4 FPS、RGBAvatar は 813.8→826.3 FPS と、速度はほぼ変わりません。既存のアバター手法(RGBAvatar、CAP4D など)に後付けできる点も特徴です。限界として、欠けた領域や大きな構造の誤り、極端な角度、口の内側のアーティファクトは残りやすいと記されています。 使うには Linux、Python 3.10、NVIDIA の CUDA 対応 GPU が必要です。`pip install -e .` で入れ、EDGAR のチェックポイントと Sapiens 0.3B の TorchScript モデルを `checkpoints/` に置き、`edgar-infer` で画像を補修し、`edgar-refine-avatar` でアバター全体を補修します。学習用データのうち CAFCA のみのパッケージは公開されていますが、「Both」パッケージはアクセス申請が必要です。コード自体はあるものの、非商用ライセンスの部分があるため、案件で使う場合は権利の確認が必須です。
リポジトリに LICENSE.txt / NOTICE / THIRD_PARTY.md あり。NVIDIA 由来コードは非商用の研究・評価用とされている。データやモデルは別条件。商用利用の前に各ライセンスの確認が必要。