ResearchMan← Technology
ComfyUI Motion Previs Studio
Tool商用OK (MIT)#GenVideo#CreatorTools#Spatial/3D

ComfyUI Motion Previs Studio

navarisun1982(個人開発)/2026-10

Overview

3D空間でキャラ・カメラ・ライトを配置して動画生成AI用のプリビズ素材(骨格・深度・マスク・カメラ行列)を書き出すローカルのデスクトップ/Webツール。プロンプトを書くのではなく「ショットを演出する」発想。

技術のポイント

AI動画で一番困る「思った構図・カメラワークにならない」を、3Dのスタジオで先に決めてしまうツールです。3Dの舞台にキャラクター、カメラ、照明を置き、レンズや絞り、動きのタイミングをタイムラインで調整すると、その結果が24fpsのプリビズ動画、OpenPose骨格、深度マップ、アルファマスク、カメラ行列として書き出されます。さらにカメラに映る被写体だけを拾ってMiniMax H3やLTX-2.5、Seedance 2.0向けのプロンプトを自動整形します。広告では、AI動画案件で絵コンテ代わりに構図をクライアントと合意してから生成に進む、複数カットの人物配置と動線を統一する、といった使い方が考えられます。画像からのGLB(3Dモデル)生成と自動リギングまで内蔵し、日本語の動作指示のような自然文での演出補助もあります(英語・アラビア語が明記)。

技術の詳細

仕組みは、Node.js製のアプリ(TypeScript、Electronのデスクトップ版あり)で、3Dビューとカメラ視点の2画面を見ながらシーンを組みます。キャラクターや小道具は、ローカルのComfyUIサーバーに画像またはテキストを渡してGLBとして生成し、人型・四足・柔軟背骨・剛体の4種で自動リグ付けします。動きは手続き型のIK(関節の自動計算)で、複数ステップの指示から作り、タイムラインで間を調整。書き出した骨格・深度・マスクはControlNetのように動画生成の条件として使えます。 従来のAI動画は文章プロンプトだけでカメラや動きを指定するため再現性が低く、3Dソフトでプリビズを作るには専門スキルが必要でした。本ツールは3D経験が浅くても配置して動かせる点と、生成AI向けの出力形式に直結している点が違います。作者は有料サービスの代替としてオープンソース化したと説明しています。 利用にはNode.js 20/22、Git、Windows/macOS/Linuxのいずれかが必要で、Windowsなら start_studio.bat をダブルクリックで起動できます。GLB生成や動画への最終レンダリングを行う場合はローカルのComfyUIとMiniMax H3の重みが別途要ります。LLM補助は任意で、OllamaならAPIキー不要です。機能の記述はREADMEの自己申告で、筆者は動作検証していません。

License

リポジトリはMIT。連携するモデル(MiniMax H3等)や任意のLLM APIは各ライセンス・規約に従う。

Sources

Related Works

  • Openjutsu

    動画内キャラ差し替えのローカルOSS。本ツールが代替を目指す商用機能と同系統。

  • Open Cinema Studio

    ストーリーからショット設計、LTX動画、最終編集までをローカルComfyUIで行うスタジオ。