Till Hielscher, Scaparro, Arras(Univ. of Stuttgart ロボティクス研究グループ)/2026-10
文章・画像・音声から「その場の状況に合った表情豊かなジェスチャー」をロボットに生成し、感情の強さなどをリアルタイムに調整できる、基盤モデル活用のモーション生成システム。
すごい点は、ロボットの動きを「手振り→お辞儀→視線」といった動きの部品(アニメーションの12原則を数式化したもの)に分け、AIがその場の文脈に合わせて部品を選び、勢いや大きさを変えて組み立てることです。しかもロボットの形が違っても(人型のPepper、犬型のGo2、アーム型のGen3 Lite)同じ仕組みで動かせます。タイムラインで動きをなめらかにつなぎ、動いている人の方へ視線を向け続けるような調整もその場でできます。広告・体験づくりでは、来場者の声や状況に反応して身振りを変える展示ロボット、キャラクター型デバイスの演出、インタラクティブなインスタレーションの動き設計に応用できそうです。3Dビューア上の仮想ロボットで動きを確認できるので、実機がなくても試作できます。
仕組み:土台は、動きの基本形(ジェスチャーの軌道)を少ないパラメータで表す Dynamic Movement Primitives(DMP)という手法で、アニメーションの原則(予備動作、誇張など)を数式として実装しています。その上で、マルチモーダル基盤モデル(文章・画像・音声を理解できるAI)が「今の状況ならどの動きの部品を、どんなパラメータで」使うかを判断し、タイムラインが滑らかに実行します。研究では、重い手順を小さなモデルに蒸留して応答を速くしていますが、その蒸留モデル自体は公開されておらず、READMEは長い手順(long pipeline)の使用を勧めています。 従来との違い:LLMにロボットAPIを直接叩かせる方式に比べ、動きに表現の質(強弱・緩急)を調整できる点が特徴です。ユーザー調査では、調整なしやAPI直叩きより文脈に合っていると評価されました(HRI 2026)。 使うには:Python 3.10の環境にリポジトリと animation-dmp ライブラリを入れ、config.yaml でLLMを選んで python main.py を実行すると、ブラウザ(localhost:8088)でViser製3Dビューアが開きます。Ollama(例:gemma3:4b)ならAPIキー不要で無料、ただし音声入力は非対応です。OpenAIを使う場合はAPIキーと従量課金が必要です。自分のロボットに載せるには robot_template を参考にした実装が必要で、研究コードのため一定のプログラミング力が求められます。
コードはMIT。LLMバックエンドはOllama(ローカル・無料)またはOpenAI(APIキー・従量課金)を選択。蒸留済み高速モデルは非公開。
同チームによる土台のDMP実装(IROS'25)。
LLMでロボットの表現的な行動を生成する先行研究。
表現的でインタラクティブなロボットモーションを安定して追従する学習手法。