ResearchMan← Technology
TaoMate-FVSR
Research条件付き (Apache-2.0)#GenVideo#CreatorTools

TaoMate-FVSR

TaoLive AIGC/2026-11

Overview

生成AI動画の小さくぼやけた顔を、音声を手がかりに復元し、差し替え音声に口の動きも合わせ直す顔動画修復モデル。

技術のポイント

AIで作った動画では、引きの画で顔が小さくぼやけたり、口の形が崩れたりしがちです。TaoMate-FVSRは頭部を切り出して顔だけを高精細に直し、元の場面へ貼り戻します。しかも音声を条件に使うので、元の声に合った口の動きに直せるほか、別の言語や台詞に差し替えた音声に口を合わせ直す「ビジュアル吹き替え」にも使えます。150クリップの評価では、比較した復元手法の中で知覚品質(LPIPS・DISTS)と口の同期(Sync-C)が最良と報告されています。広告では、AIで作った人物映像の顔だけを後から直す、多言語版CMの口元を言語ごとに合わせる、といった使い方が考えられます。

技術の詳細

仕組み: 動画から頭部を切り出し、最初のフレームを基準画像(その人らしさの手本)として固定します。そこへ「過去に生成したフレーム(動きの履歴)」と「音声」を加えて顔を再生成し、色とマスクを整えて元のショットに貼り戻します。見た目は基準画像から、動きは履歴から、口は音声から、と役割を分けて与えるのが特徴です。デフォルトは512×512で、2倍の1024×1024モードもあります。 従来との違い: 一般的な顔修復(GFPGANなど)は1枚ずつ直すため、動画ではちらつきやすく、口の動きは音声と無関係でした。本手法は動画の時間的なつながりと音声を使うので、安定性と口の同期を両立します。1つのモデルで「元音声のまま修復」と「差し替え音声での吹き替え」の両方を扱える点も新しい部分です。 使うには: Linux、Python 3.10、PyTorch 2.9が受け入れ環境で、モデルと設定ファイルは約15GBです。16GB VRAMでの動作は検証済みで、8GB・12GBは未検証、Windowsも手順はあるものの未検証です。コードはGitHubのinfer.pyから使え、ComfyUI版はcomfyuiブランチを手動で入れます。ComfyUI-Managerには未登録です。デモは事前計算した研究成果で、オンラインで試せるサービスはありません。

License

コードはApache-2.0。モデル重み(Hugging Face)のライセンスは未確認で、商用利用前に要確認。ComfyUI版は実験的なブランチ。

Sources

Related Works

  • GFPGAN

    実写の劣化した顔を復元する定番ツール。1枚ずつの処理で、動画の時間的整合性は扱わない。

  • ReCaVSR

    動画全体を1ステップで4倍に高画質化するアップスケーラー。顔だけでなく画面全体の解像度向け。

  • FlashVSR

    ストリーミング向けの1ステップ拡散動画超解像。全体の高解像度化の先行研究。