eric20041027(HackNite Hackathon 2026 Overall Winner)/2026-09
ウェブカメラやiPhone動画、既存の動画ファイルから、スーツなしでUnity向けのヒューマノイドアニメーション(指30関節込み)を作るモーキャプツール。ハッカソン優勝作品。
モーションキャプチャは専用スーツと機材が要り、個人や小規模チームには遠い存在でした。EmoteCapは、自分がカメラの前で演じた動きを、そのままUnityのキャラクター用アニメーションクリップとして書き出します。体だけでなく指30関節まで含む48本のボーンを動かし、撮影を止めずにキャラクターへリアルタイム反映する「Live Link」も備えています。公式デモ動画(1:41)では、カメラ前の演者が腕を振ると、物理演算つきのUnityキャラクターが同じ動きをして机や積み木を倒しています。広告・体験づくりでは、ゲーム的なプロモーションの試作や、来場者の動きでキャラクターを操作する展示のプロトタイプを、機材なしで素早く作る用途が考えられます。一晩で作られたハッカソン作品なので、品質は商用制作の最終工程ではなく、アイデア検証向きと見るのが妥当です。
仕組みは、Googleの MediaPipe Pose + Hands で映像の各フレームから関節の3D座標を取り、独自のクォータニオン(回転を表す数値)ソルバーで48本のボーンの回転に変換する流れです。さらに平滑化と接地処理(足が浮いたり沈んだりするのを防ぐ)を入れ、プレビュー・書き出し・ライブ再生で同じ結果になるようにしています。録画した1テイクは、Gemini が内容を見て自然な区切りで名前つきの短いクリップに分割し、ループ素材にします。Blenderを使ってヒューマノイドFBXにも書き出せます。 従来のAI推定ツールは「関節位置を出すだけ」が多く、ゲームエンジンで使える形に整える作業が別途必要でした。本作は撮影から書き出し、Unityへの取り込みまでを一続きにしています。ただし姿勢推定自体は既存の MediaPipe に頼っており、独自性は変換・整形・ツール連携の部分にあります。 使うには、Node.js 22以上、uv(Python 3.12)、ChromeかSafariとウェブカメラが必要です。FBX書き出しにはBlender 4.4以上、Unity連携にはUnity 2021.3以上が要ります。クリップ自動分割には Gemini の API キーが必要ですが、任意設定です。そのため、このキーを使う場合は従量課金の可能性があります。手順は .env.example を .env にコピーし、uvicorn のサーバーとウェブアプリを起動します。ライセンスは明記されていないので、案件利用の前に作者へ確認してください。
リポジトリにLICENSEファイルなし(ライセンス未明示のため利用条件は不明。商用利用は作者への確認が必要)
Googleのリアルタイム姿勢・手指推定ライブラリ。EmoteCapの推定部分の土台
動画から物理的に自然な3D人体モーションを取り出す研究実装
人物・体型・スタイルを指定してリアルタイムに歩きを生成するモデル