ResearchMan← Technology
SpheRoPE
Research研究用途のみ (CC-BY-NC-4.0)#GenVideo#Spatial/3D

SpheRoPE

Amazon Prime Video × Tel Aviv University × Hebrew University of Jerusalem/2026-06

Overview

学習済みDiffusion Transformer(FLUX、LTX-2.3等)の位置エンコーディングに球面幾何の事前知識を注入し、追加学習ゼロで継ぎ目のない360°パノラマ画像・動画を生成するzero-shotフレームワーク。

技術のポイント

ふつうの画像生成AIで360°パノラマ(上下左右すべてを覆う全天球画像)を作ると、左右の端の絵がつながらなかったり、天頂や足元が引き伸ばされて歪んだりする。SpheRoPEが賢いのは、モデルを作り直すのではなく、AIが画像内の位置を把握するための「番地の振り方」(位置エンコーディング)を平面用から球面用に差し替えるだけで、この問題を解決してしまう点だ。追加学習は一切不要(zero-shot)で、FLUXやLTX-Video 2.3といった既存の最新モデルがそのまま、継ぎ目のない360°パノラマ画像・動画を出せるようになる。つまり最新モデルの画質と表現力を丸ごと引き継いだ全天球生成が、プロンプト一発で手に入る。広告・体験づくりでは、VRゴーグルやドーム型会場で「その世界に入れる」ブランド空間、Webのパノラマビューアーを使ったSNSキャンペーンなど、空間まるごとの広告表現を低コストで量産できる可能性がある。現状は非商用ライセンスのため、まずは研究・検証やプロトタイプでの活用からになる。

技術の詳細

画像生成AI(Diffusion Transformer)は、画像の各部分が「どこにあるか」をRoPEと呼ばれる位置情報の仕組みで管理している。360°パノラマは、地球を世界地図に展開するのと同じ方法(正距円筒図法)で1枚の長方形に引き伸ばして扱うが、平面用の位置情報のままでは「左端と右端は実は同じ場所」「上端の1行はすべて天頂の1点」という球の性質をAIが知らない。SpheRoPEは位置情報の一部を球面上の3D座標として振り直し、左右がループ状につながり、極では1点に収束するように設計し直す。さらにSemantic Distortion CFGという誘導技術の拡張で、パノラマ特有の遠近の歪み方も生成時に反映させる。 従来の360°生成は、パノラマ画像を集めてモデルを再学習する(パノラマデータは希少で高コスト)か、生成のたびに何段階も最適化処理を回す(遅い)かの二択だった。SpheRoPEは学習も最適化も不要で既存モデルに後付けできるため、ベースモデルが進化すればパノラマの品質も自動的に上がる構造になっている。 コードはGitHubで公開されており、FLUX.1/FLUX.2(画像)とLTX-Video 2.3(動画)に対応。動かすには高性能GPUを含む生成AIの実行環境とPythonの知識が必要だ。注意点はライセンスで、リポジトリはCC BY-NC 4.0(非商用限定)、加えてベースモデル各自のライセンス条件も別途適用される。商用案件への直接投入は現状ハードルがあり、まずは検証・プロトタイプ向きの技術である。

License

リポジトリはCC BY-NC 4.0(非商用)。加えてベースモデル(FLUX / LTX-2.3)各自のライセンスが別途適用

Sources

Related Works

  • PanFusion

    360°パノラマ生成のデュアルブランチ拡散モデル(CVPR 2024、要学習型の先行研究)

  • MVDiffusion

    対応点アウェアな多視点拡散によるパノラマ・テクスチャ生成(NeurIPS 2023)