Amazon FAR (Frontier AI and Robotics)/2026-09
コーディングエージェント(Claude Code / Codex)に1本の動画を見せると、Blenderスクリプトを自分で書いて「はさみ」などの可動物体を3Dで組み立て、フレームごとの動きまで復元してくれる研究。出力はGLBと関節つきの姿勢データ。
何がすごいか:普通の3D復元は専用のAIモデルを学習させますが、これはAIエージェントに「動画とBlenderを渡して、実物と見比べながら自分で直して」と任せる発想です。エージェントは箱や円柱などの単純な部品で物体を組み立て、フレームごとに姿勢を合わせ、レンダリングして元の動画と比べ、ずれを直す作業を何時間も繰り返します。まるで新人3Dアーティストが実写を見ながらモデリングとアニメ付けを粘り強く仕上げる工程を、AIが代行するイメージです。広告・体験づくりでの活用:手元の商品や小道具(ハサミ、折りたたみ傘、開閉する箱など)をスマホで撮った動画から、名前つきパーツと関節を持つ3Dモデルに変換できれば、AR試着、商品の分解・開閉アニメ、インスタレーション用のデジタルツインの原型づくりに使えます。人の体ではなく「道具の動き」を取り込める点が、モーキャプ系の既存ツールと違う使いどころです。
①仕組み:このリポジトリは「エージェントが作業するための作業場(ハーネス)」です。エージェントは動画のフレームを見て、Blender用のPythonスクリプト(scene.py)を書き、物体を単純な部品で組み立てて各フレームの姿勢を決め、関節(回転軸など)を宣言します。そのあとレンダリングして実際のフレームと並べて比較し、ずれを見つけて直します。この繰り返しを支えるのが「姿勢探索ビュー」(多数の姿勢候補を一度に見比べる仕組み)と、時間方向の一貫性を確認する「temporal tool」です。プロジェクトページでは、はさみの動画から復元が回を追うごとに良くなっていく様子のタイムラプスと、関節軸・パーツ分割を確認できるビューアが見られます。ARCTICやHOT3Dという手と物体のデータセットで、正解データと比べた評価もされています。 ②従来との違い:これまでの復元は物体ごとに学習済みモデルやテンプレートが必要でした。この方法は学習を追加せず、汎用のコーディングエージェントが試行錯誤で解く点が新しく、使うモデルが賢くなるほど結果も良くなる設計です(READMEによると新しいモデルでは一部機能をオフにしたほうがよい場合もあります)。 ③使うには:Linux(x86_64)とNVIDIA GPU、micromamba、ffmpeg、Blender 4.2.5(install.shで導入)が必要で、サンドボックス用にroot権限も要ります。ANTHROPIC_API_KEYまたはOPENAI_API_KEYが必要です。1回の実行は数時間・大量のトークンを使う点に注意してください(--timeout-hoursで上限を設定できます)。サンプルとして庭ばさみの例が同梱されています。
コードはMIT(SciPy由来のオプティマイザ部分はBSD-3-Clause)。動かすにはClaude CodeまたはCodexのAPIキーが必要で、その利用料は別途かかる。
手と関節物体の相互作用を捉えたデータセット。AgentSTARの評価にも使われている。
AgentSTARがBlender操作の実行役として使うコーディングエージェント。