sPappalard(個人開発)/2026-01
「赤いシャツの人」のような自然言語の指示だけで、動画から人物や物体をきれいに切り抜けるオープンソースのロトスコープ・スタジオ。
この技術のすごいところは、Meta社の映像セグメンテーションAI「SAM2」と物体検出AI「Grounding DINO」を組み合わせ、日本語や英語の自然な指示文だけで動画内の対象を自動追跡・切り抜き(ロトスコープ)できる点です。従来のロトスコープはコマごとに輪郭を手作業でなぞる地道な作業でしたが、これを「言葉で指示する」だけに置き換えました。ボケ味の背景ぼかし、グリーンバック合成、ネオン発光、モノクロ+差し色(カラーポップ)など6種類の映像エフェクトもワンクリックで適用できるため、人物だけをMVの主役として浮かび上がらせたり、背景を丸ごと差し替えたりする合成カットの制作を大幅に短縮できます。
仕組みは、まずGrounding DINOが「赤いシャツの人」のようなテキスト指示から対象物のおおまかな位置を検出し、その結果をSAM2に渡して動画全フレームにわたる高精度なマスク(切り抜き範囲)を自動生成します。長尺の動画でもメモリ不足で落ちないよう、5秒単位に分割して処理する「チャンク処理」と解像度の自動調整を備えているのが工夫点です。 従来のAdobe Roto BrushやDaVinci Resolve Magic Maskは対象物を手でクリック指定する必要がありましたが、RotoAIは自然言語プロンプトだけで対象を選べる点が大きな違いです。独自YOLOモデルを使ったカスタム検出にも対応します。 使うにはブラウザとGoogleアカウント(無料のGoogle Colab GPU利用のため)、Ngrokアカウントが必要です。ローカルPC側にはNode.js環境を用意してReact製のフロントエンドを起動し、Colab側のGPUとトンネル接続する2段構成。プログラミング不要で、Colabノートブックのセルを順番に実行するだけで使い始められます。
依存モデルUltralytics YOLOがAGPL-3.0のため同ライセンス。ネットワーク経由でサービス提供する場合はソース公開義務が発生する点に注意
SAM2ベースのAIロトスコープ・背景除去ツール
Blender上で動くSAM-HQベースのマスク生成アドオン