ResearchMan← Technology
JoyAI-Video-Edit
Research商用OK (Apache-2.0)#GenVideo#CreatorTools

JoyAI-Video-Edit

JD.com (JD Open Source / JoyAI Labs)/2026-08

Overview

テキスト指示だけで動画をリアルタイム編集できる160億パラメータの生成AI。JD.com(京東)が開発し、コード・学習済みモデル・技術レポートを無償公開した。

技術のポイント

動画編集AIの多くは『動画全体を一度生成し直す』方式のため、数十秒〜数分の処理待ちが発生し、結果を見てから細かく直す“やり直し”がしづらいという課題がありました。JoyAI-Video-Editは、動画を先頭から順番に読み込みながら、その場でコマ単位に近い速さ(720pで秒間約30コマ)で書き換えていく方式を採用し、動画の長さを事前に決めずに、生放送のようにリアルタイムで『背景だけ変える』『服の色を変える』『スタイルを変える』といった指示を反映できます。人物や背景の同一性を保ったまま長尺でも破綻しにくい工夫もされています。広告制作の現場でクライアントとの打ち合わせ中にその場で編集案を見せて即座に修正したり、ライブ配信映像にリアルタイムでエフェクトをかけたり、SNS向け動画のバリエーション出しを高速化したりする用途に応用できそうです。

技術の詳細

仕組みとしては、①動画の内容を理解する“目”の役割をするMLLM(マルチモーダル言語モデル)による条件エンコーダ、②動画を圧縮・復元する“動画専用の圧縮ソフト”にあたる因果的Video VAE、③実際に絵を書き換える160億パラメータの拡散トランスフォーマー(MMDiT)の3つを組み合わせています。過去のフレームだけを見て次のフレームを生成する“因果的(未来を見ない)”な設計にすることで、動画を最後まで待たずに編集結果を出力できるのが最大の工夫です。 従来のAI動画編集は、双方向(未来のフレームも含めて)理解してから生成するモデルが主流で、高品質な反面、編集のたびに動画全体を作り直す必要があり実用速度には向きませんでした。JoyAI-Video-Editは、双方向モデルの知識を“先読みしない”軽量モデルに蒸留(コンパクトに教え込む)する独自手法(SA-DMD)を使うことで、画質を大きく落とさずに高速化を実現しています。 使うにはNVIDIA B200クラスの業務用GPU、もしくは相応のクラウドGPU環境が前提で、個人が手元のPCですぐ試せるものではありません。ただしコード一式・学習済みモデル・技術レポートが無償公開されているほか、ブラウザから触れる公式デモ(joyai-labs.jd.com)も用意されているため、映像制作会社やツール開発者が自社サービスへの組み込みを検討する足がかりにはしやすい状態です。

License

コード・学習済みチェックポイント・技術レポートをApache-2.0で公開。商用利用可。

Sources

Related Works

  • LiveEdit

    因果的なチャンク単位でストリーミング動画編集を行う先行研究(ECCV 2026)

  • Kiwi-Edit

    指示文と参照画像の両方で動画編集を制御する汎用動画編集モデル