ResearchMan← Technology
anymove
Tool商用OK (Apache-2.0)#Motion/Body#GenVideo#CreatorTools

anymove

Patch (Patch-gg)/2026-10

Overview

AI動画1本から、ドラゴンや蜘蛛などあらゆる「人間以外」のリグ付きキャラのアニメーションを作り、GLBで書き出すモーションキャプチャ手法とツール一式。

技術のポイント

すごい点は、人間用のモーキャプでは扱えない翼・尻尾・8本脚の生き物にも動きを付けられることです。動画生成AIに「正面」と「横」の2つのカメラ映像を1枚の画面に入れて動かしてもらい、その映像から関節の位置を3次元で割り出し、手持ちのキャラの骨にあてはめます。出力はUnityやUnreal、Blenderなど多くのツールが読める標準形式(GLB)です。README記載では、咆哮・叩きつけ・飛び立ち・足踏みのような大きな単発の動きが得意で、使える動き1本が約3ドルでできたとのことです。広告・体験づくりでは、ブランドのマスコットや架空の怪獣を、アニメーターに頼まず短時間でゲーム、AR、LED演出用の動くCGにできそうです。数十体を並べた群衆演出や、イベント用キャラの試作にも向きます。一方、8本脚の歩行や鳥の翼、尻尾のひと振りは苦手と明記されており、動画の約58%しか品質検査を通らないため、複数回の試行が前提です。

技術の詳細

仕組みを身近なたとえで言うと、「正面と真横から同時に撮った2台のカメラ映像から、体の各点の位置を割り出す」やり方です。まずキャラの3Dモデルと骨を用意し、手足ごとに別の色を塗ります。次に、動画生成AI(MiniMax H3)に、正面と側面の2視点を1フレームに並べた映像を作らせます。そのキャラ専用に学習した「関節リーダー」(DINOv2ベースの画像モデル)が、両方の映像で関節を探します。同じ関節は2つの映像で同じ高さに写るため、2本の視線が交わる点が3次元の位置になり、その点に骨をあてて動きを作ります。 従来のモーキャプは人間の体型が前提で、怪獣や多脚生物は手付けのアニメーションが必要でした。この手法は、キャラごとに約2,200通りのランダムなポーズで20分ほどリーダーを学習させる代わりに、動きの撮影を動画生成AIに任せます。README記載の数値では、オオカミの3D関節誤差は平均0.94cmで、足の滑りは1〜2cm程度です。生成したキャラは5〜6万ポリゴン・4Kテクスチャで、ブラウザゲームには重く、他のキャラへの動きの転用もできません。 使うにはNVIDIA GPU(学習は12GB、24GB推奨)、Python 3.11、Blender 5.x、fal.aiのAPIキーが必要です。新しい生き物を1体作るのに約17ドルと数時間、動き1本は約3ドルとREADMEにあります。Windowsでは Git Bash で動かします。Claude Codeのプラグインとして、手順ごとのスキルも同梱されています。完成済みの9体(ティラノサウルス、騎士、馬など)はPatchのアセットとして入手でき、CPUだけで試せるドラゴンの咆哮のフィッティング例もリポジトリに含まれています。

License

コードはApache-2.0。生成にはfal.aiのAPIキー(従量課金・1動き約3ドル)とNVIDIA GPUが必要。利用するMiniMax H3や3D生成サービス側の規約は別途確認。

Sources

Related Works

  • EasyMocap

    複数カメラのRGB映像から人間のモーションをとる定番のオープンソースツールボックス。

  • PoseCap

    Webカメラの全身ポーズをBlender上のキャラに流すオープンソースのマーカーレスモーキャプ。

  • HoloMotion

    人型ロボットの全身制御向け基盤モデル(Horizon Robotics)。