Alaya Lab / The University of Tokyo/2026-09
物がぎゅうぎゅうに詰まった雑然としたシーンの映像から、重なり合う物体1つひとつを個別の3Dデータ(メッシュ)として切り出し、同じ空間座標上に配置し直せる技術。
すごいのは、ごちゃごちゃに物が置かれた棚や部屋の映像から、隠れて見えない部分まで推測して、物1つずつをきれいな個別の3D部品として取り出せる点です。既存の3Dシーン生成AI(World Labsの「Marble」など)は空間全体を1つの点の集まり(ガウシアンスプラッティング)として再現するため見た目は綺麗でも、あとから「この商品だけ動かす」「この棚だけ差し替える」といった編集がしにくいという弱点がありました。WorldSculptは単体物体用の3D生成AIを応用し、物が何百個も重なった映像でも1個ずつを独立したパーツとして復元します。広告・CG制作では、実写で撮った店舗や商品陳列の映像から商品を個別に3Dデータ化して差し替え合成したり、CGでの棚替えシミュレーション、ECサイト向けの3D商品カタログを一括生成する、といった使い方が考えられます。
仕組みは、バラバラのパズルのピースを1つずつ復元してから元の箱の中に正しく配置し直す作業に似ています。もともと「1個の物体を3D化する」ためのAIを、複数視点の映像情報を手がかりに使えるように改造し、雑然としたシーンを1個ずつ物体に切り分けて立体化し、最後に同じ3D空間座標上に組み直します。隠れて見えない部分の形も、他の視点の映像から推測して補います。 従来のシーン3D化AIは空間全体を丸ごと1つのデータとして再現するため見た目のリアルさは高い一方、物ごとに動かす・差し替えるといった編集ができませんでした。WorldSculptは1個の物体だけで学習したモデルでありながら、物が数百個重なった複雑なシーンにも対応できる汎化性能を示した点が新しく、密集度が上がるほど既存手法との差が広がると報告されています。 入手はGitHub(AlayaLab/WorldSculpt、Apache-2.0で商用利用可)から。動作にはGPU環境とPython、複数視点の映像または画像データが必要です。研究者らは密集シーン評価用のベンチマーク「UE-MeshyScene」も同時公開しています。
空間全体を1つの3Dガウシアンスプラッティングとして生成する商用の世界生成AI(比較対象)
WorldSculptが編集容易性の観点で対比する、点群ベースのシーン表現手法