ResearchMan← Technology
Manga2Animate
Research研究用途のみ#GenVideo#AI/Agents#CreatorTools

Manga2Animate

National Yang Ming Chiao Tung University/2026-10

Overview

漫画の数ページとキャラクター設定画から、まず台本、次に絵コンテを作り、最後に動画を生成するマルチエージェント方式の漫画アニメ化フレームワーク。

技術のポイント

漫画を動画モデルに丸ごと渡すとコマの意図が崩れたりキャラの顔が変わったりしがちです。この研究は「いきなり動画にせず、台本と絵コンテを挟み、各段階を別のAIがレビューする」ことで、原作に忠実で、ショット間でキャラが変わりにくいアニメを狙っています。論文の評価では、既存手法より原作に忠実で、ショット間の一貫性も高いと報告されています。広告・体験づくりでは、既存の漫画やイラスト連載を短いプロモーション動画にする、原作ファン向けのティザー映像を低コストで試作する、ストーリーボードの段階で人が手直ししてから動画化する、といった使い方が考えられます。最終映像の品質は使う動画モデル次第ですが、「台本→絵コンテ→動画」の工程が見える形で残るため、クライアントとの確認もしやすい構成です。

技術の詳細

仕組みは3段階です。①前処理で、漫画のコマを読む順に切り出し、文字をOCRで読み取ります。②作り手役のAIが、キャラクター説明・台本・絵コンテの候補を3案ずつ作り、レビュー役のAIが元のコマと照らして最良案を選びます。これを標準で2ラウンド繰り返します。③出来上がった絵コンテをもとに動画を生成します。参照画像から1本の連続動画を作るモードと、コマごとに1クリップを作ってつなぐモードがあり、Seedance 2.0、MiniMax-H3、Wan 2.7、Index-AniSoraなどを切り替えられます。 従来は漫画から動画までを1回の生成で済ませるため、途中で間違いに気づけませんでした。本手法は途中成果物を人間も読める形で残し、AIが検査します。 使うにはPython 3.12環境、Geminiへのアクセス、使う動画モデル側のAPIキーが必要です。オープンソースだけで動かす場合、画像生成のFLUX.2-devに97GB級のVRAMが要るか、CPUオフロードで遅くなります。ライセンス未記載のため、まずは社内の試作・研究用途で試すのが安全です。

License

READMEとプロジェクトページにコードのライセンス表記なし。漫画ページは学術・非営利の比較用途のみと明記されている。商用利用前に権利確認が必要。

Sources

Related Works