Carasibana(個人開発者)/2026-08
動画生成AIが苦手とする「画面の中で小さく映る顔」だけを検出・拡大して描き直し、元の映像に自然に貼り戻すComfyUI用の拡張ツール。
AI動画生成では、人物が画面全体に大きく映る「顔アップ」は綺麗に生成できても、引きの画(人物が画面の一部にしか映らないカット)では顔が崩れたり、のっぺりした表情になりがちという弱点があります。ComfyUI-H3-FaceRefineはこの弱点をピンポイントで解決するツールです。動画の各フレームから顔だけを自動検出して切り出し、AIが得意なサイズまで拡大して顔だけを描き直させ、その結果を色味や境界をなじませながら元の映像にはめ込み直します。写真の顔だけをレタッチして合成する作業を、動画の全フレームに対して自動でやってくれるイメージです。広告や企業VPで「引きの画で人物が歩いてくるカット」「複数人が並ぶ集合カット」など、これまでAI動画では顔が破綻しやすく使いづらかった構図を実用レベルに引き上げられる可能性があり、演出の幅が広がります。
仕組みは4段階のパイプラインです。①顔検出AI(YOLOv8ベース)で各フレームの顔位置を追跡(フレーム間で検出が途切れても軌道を補間)、②顔だけを一定の余白比率で切り出し、AIが得意な512〜768px程度のサイズに拡大、③その拡大画像を動画生成AI「MiniMax H3」に再度読み込ませて(口の動きの音声同期にも対応した状態で)描き直し、④結果を色味を合わせつつ境界をぼかしながら元のフレーム位置に正確に貼り戻します。位置情報は小数点まで保持されるため、貼り戻し時のズレやガタつきが起きにくい設計です。 従来は「顔が崩れたカットは生成し直すか、後工程で人力レタッチする」しかありませんでしたが、本ツールは崩れた顔だけを自動で選択的に高品質化できる点が新しく、動画全体を作り直すコストを避けられます。 利用にはComfyUI環境に加え、顔検出用のYOLOv8モデルファイルと、ultralytics・scipy・insightfaceといったPythンパッケージの追加インストールが必要です。処理コストは「拡大サイズ×フレーム数」に比例して増えるため、長尺のクリップを大きな解像度で処理するとVRAM不足になりやすい点は運用上の注意点です。
ツール本体(ComfyUIノード)のコードはMITで商用利用も自由。ただし処理対象となる動画生成AI「MiniMax H3」の出力自体は別途MiniMax H3 Community Licenseの制約(地域・売上規模による条件)を受ける。
本ツールが顔の描き直しに利用する動画生成AI本体
顔などの部分検出・マスク生成でComfyUIコミュニティが広く使う関連拡張