Browser Use/2026-04
ブラウザ操作AIで知られるbrowser-useチームによる「コーディングエージェントで動画編集」ツール。素材フォルダを渡してチャットで指示すると、フィラー除去・カラグレ・字幕入りのfinal.mp4が返る。
Claude Codeに「この撮って出し素材をテンポよく編集して」と頼むだけで、「えー」「あの」といったフィラー(つなぎ言葉)やNGテイク間の間延びを単語単位のタイムスタンプで正確にカットし、すべてのカット点に30msのオーディオフェード、自動カラーグレーディング、字幕焼き込みまで済ませてくれる。面白いのは、LLMが映像を「見ない」こと。文字起こしと音声イベントのデータだけを読んで編集判断するという発想の転換で、軽く速く動く。広告・体験づくりでは、インタビュー動画・ウェビナー・社内プレゼン・ハウツー動画など「しゃべり中心」コンテンツの一次編集を数分で終わらせ、人間は演出の最終調整に集中できる。SNS向け切り抜き動画の量産ラインにも組み込みやすい。
仕組みは2層構造。まずElevenLabs Scribeという文字起こしAIで、単語レベルのタイムスタンプ・話者分離・音声イベント(笑い、無音など)を抽出する。LLMはこの「動画の楽譜」のようなテキストを読み、どこを残しどこを切るかを編集リストとして出力し、FFmpegが実際のカットを実行する。テロップやアニメーション演出はHyperFrames・Remotion・Manimを呼び出して重ねられる。 従来の自動編集ツールはプリセット(テンプレート)前提で、「トーク動画用」「Vlog用」といった型にはめる方式だった。Video Useは自然言語で「もっとテンポよく」「ブランドカラーの字幕で」と会話しながら追い込めるうえ、トーク・モンタージュ・旅行・チュートリアルとジャンルを問わない。エージェントに「編集の意図」を伝えられるようになったからこそ成立した設計だ。 必要なものは、Claude CodeやCodexなどシェルを実行できるエージェント、Python(uv)、FFmpeg、そしてElevenLabsのAPIキー(文字起こし用・従量課金)。本体はMITライセンスで無料、公開3ヶ月で1.3万スターと急成長中。
本体はMITで無償。文字起こしにElevenLabs Scribe APIキー(従量課金)が必要
同チームの代表作。AIエージェントにブラウザ操作をさせる10万スターOSS
Alibabaの文字起こしベース動画切り抜きツール。テキスト起点編集の先行例
同じくコーディングエージェントを動画制作に使うシステム。制作寄り