Georgia Institute of Technology/2026-09
1枚の絵から、建物や部屋のパーツまで作り込まれた『編集できる3D世界』を、AIが自分でプログラムコードを書きながら再帰的に組み上げる研究。
たった1枚のイラストや写真から、中世の街並みのような複雑な3D空間を、見た目がそっくりなだけでなく家一軒ずつ・パーツ一つずつが独立した『編集可能な3Dシーン』として再構築する研究です。ポイントは『再帰(リカーシブ)』という考え方で、AIエージェントがまず街全体をざっくり作り、次に街区、次に一軒の家、というように同じ手順を繰り返しながらどんどん細部を作り込み、最後にまた全体を見直して整合性を取ります。3DCGを操作できるAIが自分でプログラムコードを書いて3D空間を組み立てていく仕組みで、生成された建物は後から個別に動かしたり色を変えたりできます。広告・映像制作では、ラフなコンセプトアートやロケ写真から背景美術やバーチャルセットのたたき台を素早く作り、その後アーティストが微調整する、という使い方が考えられます。
仕組みとしては、シーン全体→部分→さらに小さな部分という階層を再帰的にたどりながら、各階層でコーディング特化のAIエージェントに3D用のプログラムコード(three.js)を書かせます。各段階で、生成した3Dシーンのレンダリング画像と元の参考画像をAI自身が見比べて『ここが違う』とチェックし、書き直すループを繰り返して精度を上げていきます。 従来の『画像から3Dコードを生成する』手法(VIGAやimg2threejsなど)はシーン全体を一度に作ろうとするため、複雑な街並みのような入り組んだ空間では細部が崩れがちでした。RCWMは全体と部分を行き来する再帰構造にすることで、街全体の配置の自然さを保ちながら建物一軒ずつの作り込みも両立できる点が新しい、と論文は主張しています。 使うにはLinux環境が前提で、Python・Node.js(three.jsでのレンダリング確認用)の環境構築に加え、AIエージェント実行用のOpenAI有償APIキーが必要です。開発元はジョージア工科大学で、READMEには『まだ不安定な部分がある』との注記もあります。
コード自体はMITで無料公開されているが、内部で使うAIエージェントがOpenAIの有償API(論文中でgpt-6-astraと呼ばれるモデル)必須のため実行には従量課金が発生する
画像を見ながらBlender上で3Dシーンを対話的に復元するAIエージェント。RCWMの比較対象の一つ
1枚の参照画像からThree.js製の3Dオブジェクトを生成するツール。RCWMの比較対象の一つ