Apple(apple-aiml-research)/2026-11
シミュレーション上の1,000軒の仮想住宅だけで学習し、ヒューマノイドロボット(Unitree G1)が本物の家で座る・くぐる・押すを自律実行する研究。データ生成から学習、実機配備までのコードを公開している。
すごい点は、実際の家のデータを1件も使わず、コンピュータ上の仮想の家だけで学習したロボットが、そのまま現実の家で動いたことです。論文では未知の6環境・計360回の試行で91%成功と報告されています。カメラ映像と音声の指示から、椅子やソファに座る、机の下にしゃがんで潜る、箱を押す、人についていく、といった全身の動きを自動で作ります。広告・体験づくりでは、「人の言葉で動きを指示すると、周囲の家具に合わせて身体が自然に動くキャラクター」の発想源になります。たとえば店舗やイベント会場で、来場者に近づく、椅子に座って待つ、といった演技を現場ごとの作り込みなしで行うロボット演出や、同じ仕組みをデジタルキャラクターに転用して、空間に合わせて勝手に動く仮想スタッフを作る案が考えられます。コードは公開されているので、動きの生成部分だけを取り出して試すこともできます。
仕組みは3段構えです。まず上位の「司令塔」(視覚と言語を扱うAI、約0.5秒に1回)が「ソファに座って」のような依頼を小さな作業に分けます。次に「動き生成」モデル(約3回/秒)がカメラ画像を見て、今後5秒間の全身の動きを計画します。最後に「追従」モデル(毎秒50回)が、深度センサーと関節の状態を見ながらその計画どおりに身体を動かします。たとえるなら、監督・振付師・ダンサーの3人が別々の速さで働くチームです。学習データは、住宅を自動生成するInfinigenで作った1,000軒の仮想の家の中に、衝突しない動きを配置して作られ、見た目も8種類のランダム化でばらつかせています。 従来は、ロボットの全身動作を作るには実機での計測や人手の調整が多く必要でした。HALOは計算量を増やすほどデータが増える方式で、人手が要りません。GitHubには、データ生成(datagen)、動き生成(generator)、G1用の追従ポリシーとIsaac Labでの学習・PythonおよびC++の配備(tracker)、司令塔(orchestrator)、シミュレーション・実機システム(system)が含まれます。 使うには、NVIDIA GPU、Isaac Lab、MuJoCo、Infinigenなどの環境と、実機で試すならUnitree G1が必要です。論文の学習は大規模GPU(動き生成に64基のB200など)で行われているため、個人が一から再現するのは難しく、学習済みの重みもREADMEには記載がありません。ライセンスは商用可否が曖昧なので、仕事で使う前にApple側の条件確認が必要です。まずはプロジェクトページのデモ映像を、演出の参考資料として見るのが現実的です。
Apple独自の許諾文(SPDX判定なし)。「personal, non-exclusive license」と書かれ商用可否は明記なし。サブコンポーネントは別ライセンス。学習済み重みはREADMEに記載なし(未確認)。
NVIDIAのテキスト・制約からヒューマノイド動作を作る拡散モデル。HALOのデータ生成で使われる
人の動作を様々なヒューマノイドロボットへCPUでリアルタイムに移し替える