ResearchMan← Technology
VideoAgent
Research商用OK (MIT)#GenVideo#CreatorTools#AI/Agents

VideoAgent

HKUDS(香港大学 Data Intelligence Lab)/2026-06

Overview

香港大学HKUDSによる、動画の「理解・編集・リメイク」を1つの対話型エージェントに統合したオープンソースフレームワーク。論文・コードを2026年6月に公開。

技術のポイント

「この2時間の講演動画を3分のダイジェストに」「この素材で曲に合わせたビート同期編集を」といった指示を自然言語で受け取り、動画の内容理解(何がどこで起きているか)→計画→ツール実行までをエージェントが自律的にこなす。要約・Q&A・切り抜き・解説動画・ミーム動画・MV風リメイクまで守備範囲が広く、研究コードながらYouTubeの公式デモで実際の編集結果を確認できる。広告・体験づくりの観点では、長尺のイベント記録やインタビューからSNS用ハイライトを自動抽出する、過去のCM・キャンペーン素材アーカイブをAIに「理解」させて新企画向けに再構成する、といった「映像資産の再活用」を自動化する道筋をつける技術で、アーカイブを大量に抱える広告主・制作会社ほど恩恵が大きい。

技術の詳細

仕組みは、動画をフレーム・音声・字幕のマルチモーダル情報として解析したうえで、LLMが「ユーザーの意図分析→必要なツールの選択→実行計画」を立て、カット検出・音楽同期・字幕生成・素材生成などの下位ツールを順に呼び出すエージェント構造。会社組織に例えると、1人のディレクターが理解班・編集班・演出班に指示を出して1本の動画に仕上げていくイメージだ。 従来、動画理解(Video QA)と動画編集は別々の研究分野で、FunClipのような編集特化ツールは内容理解が浅く、理解特化モデルは編集ができなかった。VideoAgentは両者を1つのエージェントループに統合し、「内容を理解したうえで編集判断する」点が新しい。ビート同期編集やストーリーテリング動画など、既存OSSツールとの機能比較表でも守備範囲の広さを示している。 使うにはGitHubからMITライセンスで入手し、Python 3.10環境と、Claude(エージェントのグラフルーティングに必須)・GPT(動画編集/要約/QA用)・Gemini(動画理解用)のLLM APIキーを用意する。動作環境としてGPUメモリ8GB以上が必要と明記されている。研究段階のため仕上がりは素材や指示に依存するが、公式デモ動画で品質を確認してから導入判断できる。

License

コードはMIT。動作にはLLM API(OpenAI等)のキーが別途必要

Sources

Related Works

  • ViMax

    同じHKUDSによるエージェント型動画「生成」フレームワーク。本作は理解・編集側

  • NarratoAI

    AIによる動画解説・自動編集ツール。ナレーション特化の先行例

  • FunClip

    Alibabaの文字起こしベース動画切り抜きOSS。編集特化の比較対象