ResearchMan← Technology
MaskVidExperiments
Tool条件付き (GPL-3.0)#GenVideo#CreatorTools

MaskVidExperiments

drozbay(個人開発)/2026-07

Overview

動く被写体だけをマスクで切り出して高解像度で加工し、元の映像にジッター(ガクガクした揺れ)や継ぎ目なしで貼り戻すComfyUI向け動画マスク処理ツール。

技術のポイント

AI動画編集で「人物だけ差し替えたい」「特定の被写体だけ高画質化したい」という処理をすると、フレームごとに切り抜き位置が微妙にズレて、貼り戻した映像がガクガク揺れて見えることがよくあります。これは動画生成モデルには『意図しないカメラ揺れ』として誤って学習・強調されてしまう厄介な問題です。MaskVidExperimentsは、フレーム単位ではなく動画全体を見て「本当に動いた区間だけ」切り抜き枠を動かすことで、この揺れをなくします。広告映像でのAI人物差し替えや部分的な高画質リマスター、看板・服のロゴ差し替えのような、被写体を保ったまま一部だけAIで加工したい制作に実用的な効果があります。

技術の詳細

仕組みとしては、マスクのノイズや一時的な遮蔽(他の物が前を横切る等)、被写体のわずかな身じろぎを無視し、「まとまった動き」だけを検出して切り抜き枠を動かす、バッチ単位(動画全体を見た上で決める方式)の判定を採用しています。切り抜き方は3種類選べ、被写体の移動範囲全体を1つの枠で固定してしまう「Combined」、枠のサイズは変えず最小限だけ動かす「Tracked」、被写体の位置とサイズの両方に追従してズームする「Zoomed」があります。 従来はフレームごとに機械的に被写体を追いかけて切り抜くため、マスクの検出誤差がそのまま画面の揺れになって現れていました。本ツールは動画全体の動きの傾向を先に見てから枠取りを決めるため、遮蔽・オフスクリーンからの再登場・急なカット変わりといった難しい場面でも安定します。付属のGIFサンプルでこれらの状況での挙動が確認できます。 使うにはComfyUIの`custom_nodes`フォルダに追加するだけで、ComfyUI本体以外の追加依存ライブラリは不要です。既存の動画生成・inpaintingワークフローに5種類のノード(マスク整形、被写体切り抜き、潜在空間でのマスク変換、フェザー付き貼り戻し等)を組み込む形で使います。GPL-3.0で無償公開されています。

License

利用・商用生成物には制限なし。改変版の配布はGPLに従いソース公開が必要

Sources

Related Works

  • Mocha Pro

    プロVFX向けのプラナートラッキング・ロトスコープツール。高精度だが有償かつ専用ソフトでの手作業トラッキングが前提

  • ComfyUI標準のマスク・inpaintingノード

    フレーム単位でマスク処理するため、動く被写体では切り抜き位置のズレによる揺れが起きやすい