ResearchMan← Technology
Vocaloid-Style MV Pipeline
Tool商用OK (MIT)#HCI/MediaArt#Audio/Music#CreatorTools

Vocaloid-Style MV Pipeline

EGSECDA(個人開発者)/2026-10

Overview

ボカロ風の「手書き(tegaki)リリックMV」を、曲と歌詞から自動で作るためのClaude Code用スキル兼プロジェクト雛形。1曲3分46秒・68カット級の作例を約4分でレンダリングできる。

技術のポイント

すごい点は、曲(wav)と歌詞を入れるだけで、ボカロMV特有の「手書き風の動くイラスト」「歌詞の文字が躍るタイポグラフィ」「ビートに合わせたカット切り替え」までを一つの流れで作れることです。すべてのコマが「時刻tの関数」として計算されるため、同じ入力から必ず同じ映像が出て、途中のカットだけ作り直すことも簡単です。広告・体験づくりでは、アーティストのリリックビデオ、音楽系キャンペーンの縦型ショート(9:16への自動レイアウト変換つき)、ライブ前の告知映像などを、少人数かつ短納期で量産する用途に向きます。作例には24種類のシーンテンプレートと13種類の場面転換が入っているので、完全なゼロからでなく、組み合わせて独自のMVに仕立てる使い方ができます。日本のボカロ文化の映像様式を、再現可能な「手順書つきの部品」にした点も珍しいところです。

技術の詳細

仕組みは7段階の工程です。①曲をlibrosa(音声解析ライブラリ)で解析して拍・小節・セクションをJSONにし、②歌詞から色やキャラクターを決め、③AI画像生成でキャラクターのポーズ絵を作って背景色を抜き(クロマキー)透明化し、④絵コンテを「タイムライン」ファイルに書き、⑤Canvas2D(ブラウザの2D描画)で各コマを描いてWebGL2で光のにじみ・色ずれ・ノイズなどを重ね、⑥ヘッドレスブラウザ(画面を出さないブラウザ)で全コマを書き出してffmpegで動画化し、⑦16:9の本編、SNS用、縦型を出力します。必要ならBlender(EEVEEのトゥーンシェーディング)による3Dカットも混ぜられます。 従来のAI動画生成は、1カットごとに「当たり外れ」がありカット単位の修正や再現が難しいのに対し、この仕組みは各コマが時間の純粋な関数なので、何度でも同じ結果を出せ、複数のワーカーで分担して並列にレンダリングできます。RTX 3080で3,796コマ(約3分46秒)を約4分で書き出したとREADMEに記載されています(CPUのみだと約10倍遅い)。 使うにはNode.js 20以上、Python 3.10以上、ffmpeg、Edge/Chromeが必要で、曲のwavと公式歌詞を用意します。画像生成にはCodex CLIなどを任意で使います。コードはMITで無料ですが、作例「残光」の素材は使用禁止で、自作キャラ・自作テーマで作る前提です。Claude Codeなどのエージェントに手順を読ませて進める設計のため、コマンド操作とファイル編集に慣れた制作者向けです。

License

コード・ドキュメントはMIT。同梱の作例MV「残光」の素材は著作権者(NikusonP)が権利を留保しており、再利用不可。画像生成APIやBlenderは任意で、API利用時は従量課金

Sources

Related Works

  • Remotion

    Reactのコードで動画をフレーム単位に描画して書き出すフレームワーク

  • librosa

    拍・テンポ検出など音楽解析のPythonライブラリ(本ツールも利用)

  • Manim

    コードで数式・図形アニメーションを決定論的にレンダリングするPythonライブラリ