ResearchMan← Technology
LeapTalk
Research研究用途のみ#GenVideo#Motion/Body#CreatorTools

LeapTalk

Rongxiang Zhang, Songhua Liu(個人研究者。基盤モデルはSoul AI Lab発のSoulX-FlashHead)/2026-08

Overview

話す顔を1回の計算ステップ・最大200FPSで生成できる高速な「トーキングヘッド」技術。写真1枚と音声だけで、途切れないリアルタイムのしゃべるアバター映像を作れる。

技術のポイント

この技術のすごさは、通常は何十回もの計算を重ねて少しずつ映像をきれいにしていく生成AIの仕組みを、たった1回の計算で仕上げてしまう点です。しかも速度を優先するタイプにありがちな「喋らせ続けるうちに顔が徐々に崩れていく」問題を、独自の変換方法(ブラウン橋と呼ばれる数学的な仕組み)で抑え込み、長時間の配信でも顔の同一性と口の動きの正確さを保てるようにしています。最大200FPSという速度は、パソコン1台でのリアルタイム配信を十分視野に入れられる水準です。広告・体験づくりの観点では、レンダー用の大掛かりな設備なしに、しゃべるAIキャラクターやAI受付・AIナレーターをその場で反応させながら配信できたり、視聴者ごとに異なる原稿を読ませるパーソナライズ広告アバター、多言語吹き替え映像への口の動きの自動同期といった使い方が考えられます。

技術の詳細

仕組みは、あらかじめ用意された「じっくり時間をかけて高品質な喋る顔を作る」既存モデル(SoulX-FlashHead)の知識を、1回の計算で同じ品質を再現できる軽量モデルに“移し替える”というものです。通常こうした圧縮(蒸留)を行うと画質や口の動きの精度が落ちやすいのですが、ノイズから画像を組み立てる従来の道筋ではなく、開始点となる映像から終着点となる映像へ直接変換する道筋(ブラウン橋という考え方)を使うことで、質を落とさずに手順を減らしています。加えて、音声に連動した誘導の仕組みにより、計算を極限まで減らしても口の形が音声とずれないようにしています。 従来方式との違いは主に2点です。高品質を狙う方式は何十ステップもの計算が必要でリアルタイムには使えず、逆に高速化を狙った従来のリアルタイム方式は「1つ前のフレームから次のフレームを予測する」やり方のため、誤差が少しずつ蓄積して長時間再生すると顔が別人のように崩れる問題を抱えていました。LeapTalkはこの両方の弱点――遅さと崩れやすさ――を同時に解決している点が新しさです。 実際に使うには、ベースとなるSoulX-FlashHead(1.3Bパラメータ)と音声認識用のwav2vec2、LeapTalk独自の追加学習データ(LoRA)をHugging Faceから無料でダウンロードし、Python 3.12・PyTorch環境で動かします。1枚のGPUで動作する設計のため、クラウドGPUを借りれば個人でも試せますが、リポジトリに利用許諾(ライセンス)の明記が無いため、商用配信で使う場合は開発元への事前確認が必要です。

License

リポジトリにLICENSEファイルが見当たらず、商用利用条件は開発元へ要確認。ベースモデルSoulX-FlashHeadはOSSとして別途公開されている

Sources

Related Works

  • SoulX-FlashHead

    LeapTalkが蒸留元として使う、Soul AI Lab発のリアルタイム喋る顔生成の基盤モデル

  • Wan-Animate-2

    全身の動きまで含む同時期の企業研究ラボ発キャラクターアニメーション技術(対比事例)

  • LivePortrait

    先行するリアルタイム系ポートレートアニメーション手法