Nvidia présente GR00T 2, un modèle qui prédit la vidéo et les gestes pour apprendre aux robots à partir de vidéos humaines

Après la vision et le langage, la robotique adopte à son tour les modèles qui « imaginent » la suite. Nvidia a présenté le 9 novembre, à la conférence CoRL d’Austin, GR00T 2, une nouvelle génération de ses modèles pour robots. Sa particularité : il ne se contente pas de choisir un geste, il prédit en même temps à quoi ressemblera la scène quelques instants plus tard.

Prédire la vidéo pour apprendre des humains

GR00T 2 est un « modèle monde-action » : un seul transformeur de diffusion débruite ensemble la vidéo future, vue par trois caméras, et un bloc de commandes pour les articulations. De petites têtes propres à chaque robot traduisent ensuite ce plan en ordres moteurs, ce qui permet au même modèle de piloter des pinces, des mains à cinq doigts ou un humanoïde.

L’intérêt de prédire la vidéo, selon Nvidia, est de pouvoir apprendre la physique dans des vidéos humaines, qui ne contiennent aucune commande de robot. Le pré-entraînement mêle ainsi 402 730 heures de vidéo filmée à la première personne, environ 10 000 heures de démonstrations avec une pince portative et 23 500 heures de téléopération de robots. Nvidia publie 100 000 heures de cette vidéo humaine sur Hugging Face. Ses propres mesures montrent que plus la part de vidéo humaine augmente, plus le robot progresse : sur 72 tâches, la progression réelle passe de 50 % à 70 % entre aucune vidéo humaine et la totalité.

Des chiffres de généralisation élevés, à vérifier

Le résultat mis en avant porte sur 50 tâches que le robot cible, équipé de deux mains Sharpa, n’a jamais pratiquées. Sans aucune démonstration, GR00T 2 réussit 40 % des essais. Une démonstration par tâche fait monter ce taux à 71 %, cinq démonstrations à 95 %, soit moins de trois minutes de données et 30 minutes d’ajustement sur une seule RTX 5090. Nvidia montre aussi des gestes appris uniquement en regardant des humains, comme garnir un entonnoir de laboratoire avec du papier filtre (65 % de réussite).

Autre axe : le pilotage par un agent. Un modèle de raisonnement appelle GR00T 2 comme un outil, vérifie l’avancement et répare la scène quand une pièce tombe. Dans ce mode, le bras YAM assemble trois jouets dans 97 à 98 essais sur 100, contre 23 à 69 avec le seul ajustement supervisé. Une variante allégée, GR00T 2 Turbo (2 milliards de paramètres), tourne directement sur l’humanoïde Unitree G1, avec 124 ms par prédiction.

Ouvert, mais pas encore téléchargeable

Nvidia présente GR00T 2 comme un modèle ouvert, dans la lignée des précédents GR00T, et annonce en parallèle Isaac Lab 3.0 et deux bancs d’essai ouverts, DexBench et VABAR. Mais rien n’est encore téléchargeable : la page de recherche annonce seulement un code « disponible en décembre », sans date précise ni licence, et sans dire si les poids suivront au même moment. Côté industriels, Nvidia cite Foxconn pour l’assemblage de serveurs, Siemens et Nexuni, qui l’essaie pour la manipulation du linge.