ResearchMan← Technology
PixARMesh
Research条件付き (CC-BY-SA-4.0)#Spatial/3D#CreatorTools

PixARMesh

UC San Diego MLPC/2026-06

Overview

1枚の室内写真から、部屋全体の配置と編集可能な3Dメッシュを一括生成する自己回帰フレームワーク。

技術のポイント

すごいのは、1枚の室内写真から、部屋全体の家具の配置と“編集しやすい3Dメッシュ”を、AIが一気に予測してくれること。従来のAIによる3D化は、点群やSDFといった中間表現を経るため、出てきたデータが編集しづらかったり、部屋全体の整合が取れなかったりした。PixARMeshは文章を書くように形を1つずつ順番に生成する方式(自己回帰)で、最初からメッシュそのものを出力する。だからBlenderなどの3Dソフトでそのまま手直しできる。広告・体験づくりでは、参考写真1枚からイメージに近い3D空間の下地を素早く起こし、CG合成やバーチャル空間、ゲーム風の体験づくりのたたき台にできる。ゼロからモデリングする手間を省き、企画・プレビズの初速を上げられるのが魅力だ。

技術の詳細

仕組みは、AIが1枚のRGB画像を見て、そこに写る物体の位置(レイアウト)と形(メッシュ)を、文章を綴るように1要素ずつ順番に予測していく“自己回帰”方式。点群やSDFといった中間データを挟まず、最初から扱いやすいメッシュを直接出すのが最大の特徴で、シーン全体を1回の推論でまとめて生成する。出力が“アーティストが触れる”前提のメッシュなので、そのままDCCツールで編集できる。 これまでの単一画像からの3D化は、スプラットやNeRF、点群など編集に不向きな形式が多く、部屋全体のような複数物体の整合を保つのも苦手だった。メッシュ・ネイティブで、かつシーン単位で一貫して生成できる点がPixARMeshの新しさだ。 使うにはPython環境とGPUが必要。コードはGitHubで、学習済みの重みもHugging Face(zx1239856/PixARMesh-EdgeRunner)で公開されている。ライセンスはCC-BY-SA-4.0で、利用は可能だが二次配布時に同一ライセンス継承(シェアアライク)と表示が必要な点に注意。CVPR 2026採択(arXiv 2603.05888)。

License

CC-BY-SA-4.0。商用可だが表示+同一ライセンス継承(シェアアライク)が必要

Sources

Related Works

  • Modly

    写真から3DメッシュをローカルGPUだけで生成するデスクトップOSS

  • 4C4D

    少数カメラから動く4Dシーンを再構成する同時期のCVPR 2026研究