Nvidiaが「GR00T 2」を発表：人間の動画から学習し、映像と動作を同時予測するロボット向けモデル

視覚と自然言語に続き、ロボット工学の分野でも次の展開を「想像」するモデルの導入が進んでいる。Nvidiaは11月9日、オースティンで開催されたCoRLカンファレンスにて、ロボット向けモデルの新世代となるGR00T 2を発表した。その最大の特徴は、単に次の動作を選択するだけでなく、数瞬後に現場がどのような状態になっているかを同時に予測する点にある。

人間から学ぶために映像を予測する

GR00T 2は「ワールド・アクション・モデル」である。単一の拡散トランスフォーマーが、3台のカメラが捉える未来の映像と関節の制御コマンドブロックを同時にノイズ除去する。その後、各ロボット固有の小型ヘッドがこの計画をモーターへの指令へと変換するため、同じモデルでグリッパーや5本指ハンド、人型ロボットを制御することが可能となっている。

Nvidiaによれば、映像予測を行うメリットは、ロボットの制御コマンドが一切含まれていない人間の動画から物理法則を学習できる点にあるという。事前学習には、一人称視点で撮影された40万2,730時間の動画、ポータブルグリッパーを用いた約1万時間の実演、そして2万3,500時間のロボット遠隔操作データが組み合わされている。Nvidiaはこの人間の動画のうち10万時間分をHugging Faceで公開している。同社の測定によると、人間の動画の割合が増えるほどロボットの性能が向上し、72のタスクにおいて、人間の動画を全く含まない場合とすべて含んだ場合とを比較すると、実際の成功率は50%から70%に上昇した。

高い汎用性を示す数値とその検証課題

注目すべき成果として挙げられているのは、対象となるロボット（Sharpaハンド2基を装備）がこれまで一度も経験したことのない50のタスクだ。事前の実演が全くないゼロショットの状態で、GR00T 2は40%の試行で成功を収めた。タスクあたり1回の実演で成功率は71%に跳ね上がり、5回の実演では95%に達した。これはわずか3分未満のデータと、単一のRTX 5090による30分間のファインチューニングで実現された。また、Nvidiaは人間の観察のみから学習した動作の例として、実験用漏斗にろ紙をセットする作業（成功率65%）などを紹介している。

もう一つの軸はエージェントによる制御だ。推論モデルがGR00T 2をツールとして呼び出し、進行状況を確認して、部品が落下した場合には環境を修復する。このモードにおいて、YAMアームは3つの玩具の組み立て作業で100回中97回から98回の成功を記録した。これに対し、教師ありファインチューニングのみでは23回から69回の成功にとどまる。また、軽量版のGR00T 2 Turbo（20億パラメータ）は、人型ロボットUnitree G1上で直接動作し、1予測あたり124ミリ秒で処理を完了する。

オープンながらダウンロードは未解禁

Nvidiaは従来のGR00Tシリーズと同様に、GR00T 2をオープンなモデルとして提示しており、同時にIsaac Lab 3.0や、DexBench、VABARという2つのオープンなテストプラットフォームを発表した。しかし現時点では何もダウンロードできない。研究ページにはコードが「12月に提供予定」と記載されているのみで、具体的な日付やライセンス、モデルの重みが同時に公開されるのかどうかは明らかにされていない。産業界での採用について、Nvidiaはサーバー組み立てを行うFoxconn、Siemens、そして洗濯物の取り扱いに向けてテストを進めるNexuniなどの企業を挙げている。