ResearchMan← Technology
Skinned Motion Retargeting via Artifact-driven Kinematic Prior Refinement
Research研究用途のみ (CC-BY-NC-4.0)#Motion/Body#Spatial/3D

Skinned Motion Retargeting via Artifact-driven Kinematic Prior Refinement

KAIST (Seokhyeon Hong et al., SIGGRAPH Asia 2026 Journal Track)/2026-09

Overview

モーションキャプチャの動きを体型の違うキャラクターに転写する際に起きる「体のめり込み」を、AIが自動検出して修正する技術。

技術のポイント

モーションキャプチャで人間の演者から取った動きを、体型がまったく違うキャラクター(頭が大きいマスコット、ロボット、獣人など)にそのまま流用すると、腕が胸に埋まったり足が交差してめり込んだりする「破綻」がよく起きます。この技術は、AIが変換後のポーズを実際にメッシュ(3Dモデルの表面)でチェックし、めり込みが起きた箇所を検出して、そこだけを自然に直すという仕組みを持っています。骨格の違いを吸収する共通の「動きの言語」をAIに学習させた上で、キャラクターごとの体型情報を加味して仕上げるため、これまで人力でリテイクしていた修正作業を自動化できます。広告のCM撮影で人間の演者の芝居をマスコットキャラクターやCGクリーチャーにそのまま流し込みたい場面、体験型施設で来場者の動きをロボットやアバターにリアルタイムで反映させたい場面などで、演出の質を落とさずに制作スピードを上げられる可能性があります。

技術の詳細

仕組みをたとえるなら、Aさんの服(動き)をBさんの体型に合わせて仕立て直す作業です。まずAIに、体型の異なるキャラクター同士でも通じる「動きの共通言語」を大量のモーションデータから学習させます。次に、その言語を使って変換したポーズを実際に3Dモデルの表面(メッシュ)に当てはめてみて、腕や足がキャラクターの体にめり込んでいないかを自動でチェックします。めり込みが見つかった場合、その部分だけをピンポイントで直すための補正情報を作り、最終的な動きに反映します。 従来のAIによるモーション変換は、動きの変換とめり込みの修正を1つのモデルに全部担わせていたため、学習していない未知の体型のキャラクターに使うと精度が落ちやすいという弱点がありました。この研究は「動きの変換」と「めり込みの検出・修正」の役割を分けたことで、初めて見る体型のキャラクターに対しても安定してきれいな動きを出せるようにしています。 使うにはPythonの実行環境とGPU、モーションキャプチャデータ、動かしたいキャラクターの3Dモデル(骨格・スキニング情報付き)が必要で、現状は研究者・エンジニア向けの実装です。ライセンスはCC-BY-NC-4.0(非商用・研究目的限定)のため、そのまま広告制作物に組み込んで納品することはできず、商用パイプラインへの導入には権利元への許諾交渉か自社での再実装が前提になります。

License

研究・非商用利用限定。商用制作物への組み込みには別途許諾または再実装が必要

Sources

Related Works