kevinraymond(個人開発)/2026-09
1枚の画像から360°周回動画をAIで生成し、そこからVR対応のGaussian Splatを作る実験的パイプライン。失敗した動画を自動で選別・再生成する品質ゲートが特徴。
画像1枚から、後ろ側まで回り込める3Dシーンを作る一連の流れを、手作業なしで回す点がすごい。AI生成の周回動画は、途中で動かない、元の向きに戻る、形が崩れるといった失敗が多い。giroは、カメラが330°以上回ったか、動きが安定しているか、ループが閉じているかを調べ、不合格の動画は別のシードで作り直す。広告・体験づくりでは、キャラクターや商品のイラスト1枚から、Meta Questのブラウザで見られる立体展示や、Webの回せるビジュアルを素早く試作する用途に向く。実験段階のプロトタイプなので、本番制作前の発想検証向きだ。
仕組み:①MiniMax H3で入力画像から360°周回動画を生成、②フレームを抜き出し、SAM 3.1で被写体を切り抜く、③COLMAP(Depth Anything 3を予備)でカメラ位置を復元、④品質ゲートで周回の質を検査、⑤Brushで背景が透明なスプラットを学習、⑥背景を切り落とし、実寸の高さに合わせてWeb・VR向けに書き出す。不合格のシードは自動で再抽選し、足りない弧の部分は補完用に再生成する。画面はReactのWebUIで、SparkビューアはWebXR対応。 従来との違い:動画生成から3D化までを個別に手でつなぐのではなく、失敗を自動で見分けて回す工程管理が中心にある。docs/FINDINGS.mdに実測メモがあり、例えば158フレーム×20ステップの既定設定では4シード中3つが合格した。ただし数値は4被写体・各数シードの少数観察で、ベンチマークではないと作者自身が注記している。 使うには:Linux、24GBのNVIDIA GPUを2枚(動画生成に約22GB)、Python 3.12、uv、Node.js、Rust、FFmpeg、COLMAP 4.xが必要で、モデルの重みは自分で用意する。導入のハードルは高い。リポジトリにはPLY/SOG/SPZ形式の完成サンプル6点がある。費用はソフトに無いが、GPU環境は自前で用意する必要がある。
giro本体はMIT。連携する外部ツール(Brush等)はGPL-3.0、Apache-2.0、BSD-3-Clauseなどそれぞれのライセンスに従う。動画生成のMiniMax H3などモデルの重みは利用者が自分で用意する