ResearchMan← Technology
SpeLL
Prototype—#CreatorTools#AI/Agents#GenVideo

SpeLL

GIST HCIS Lab(Jeongseok Oh, SeungJun Kim)/2026-11

Overview

「炎の竜巻」「剣の斬撃」といった文章から、Unity上で後から調整できる3D VFX(視覚効果)の下書きを作る研究。UIST 2026採択。

技術のポイント

すごいのは、文章を入れるだけで3D空間の爆発・炎・斬撃といったエフェクトの「下書き」が、あとから手で直せる形で出てくることです。最近の動画生成AIは完成した映像を一発で出しますが、気に入らない所だけ直すのは苦手です。SpeLLは出力がUnityの部品(形状・ノイズ模様・パーティクル)の組み合わせなので、デザイナーがいつもの操作で色・大きさ・発生タイミングを調整できます。20人のプロのVFXデザイナーによる評価でも、意図の反映、空間と時間の配置、直しやすさが比較手法より良かったと報告されています。広告・体験づくりでは、ゲーム風プロモーション、イベントのインタラクティブ演出、AR/VRのエフェクトなどで、企画段階に「こんな演出」を素早く複数案つくって見せ、決まった案だけ職人が仕上げる流れが作れそうです。ただしコードは未公開なので、今は動向を押さえる段階です。

技術の詳細

仕組みは3段階です。まず大規模言語モデル(ChatGPTのような文章AI)が、短い依頼文を「どんな部品がいるか」「どこに置くか」「どの順で発動するか」という詳しい設計メモに膨らませます。次に、あらかじめ用意された素材ライブラリ(メッシュ=立体の形、タイル状ノイズ模様、パーティクル=粒子の発生源)から、設計メモに合うものを検索して組み立てます。最後に、各部品の位置・大きさ・発動の順番をAIが調整し、Unityのパラメータ付きの下書きとして出力します。料理にたとえると、完成品の写真を作るのではなく、材料と手順書をそろえて渡してくれるイメージです。 従来のテキストから3D生成は、形が固まった塊が出てくるだけで、エフェクトの「時間の流れ」や「後からの微調整」に弱いのが課題でした。SpeLLはプロのVFXデザイナーへの事前調査をもとに、下書きを素早く出して最終調整は人に任せる設計になっています。 使うには、現時点では論文とプロジェクトページのデモ動画・作例を見る形になります。GitHubにはUnityクライアントやサーバーの置き場が用意されていますが、実行できる実装は未公開(Code coming soon)です。公開されれば、Unityの基本操作と、LLMを動かす環境(外部APIまたはローカルモデル)が必要になる見込みです。費用や商用利用条件は公開時のライセンス次第です。

License

論文はCC BY 4.0。実装コードは未公開(Code coming soon)で、実装のライセンスも未定。デモに使われた第三者アセットの再配布権は付与されない。

Sources

Related Works

  • DreamFusion

    文章から3Dモデルを作る代表的な先行研究。形は作れるがエフェクトの時間変化と編集性は弱い。

  • MBits (UIST 2026)

    同じUIST 2026の、3Dプリントで振動に反応する物体の動きを設計する研究。