Nvidia presenta GR00T 2, un modelo que predice vídeo y gestos para que los robots aprendan de vídeos humanos

Tras la visión y el lenguaje, la robótica adopta a su vez los modelos que «imaginan» lo que viene después. Nvidia presentó el 9 de noviembre, en la conferencia CoRL de Austin, GR00T 2, una nueva generación de sus modelos para robots. Su peculiaridad: no se limita a elegir un gesto, sino que predice a la vez cómo será la escena unos instantes más tarde.

Predecir el vídeo para aprender de los humanos

GR00T 2 es un «modelo mundo-acción»: un único transformador de difusión elimina el ruido conjuntamente del vídeo futuro, captado por tres cámaras, y de un bloque de comandos para las articulaciones. Después, pequeños cabezales propios de cada robot traducen este plan en órdenes motoras, lo que permite que el mismo modelo controle pinzas, manos de cinco dedos o un humanoide.

La ventaja de predecir el vídeo, según Nvidia, es poder aprender física a partir de vídeos humanos, que no contienen ninguna orden robótica. Así, el preentrenamiento combina 402 730 horas de vídeo grabado en primera persona, cerca de 10 000 horas de demostraciones con una pinza portátil y 23 500 horas de teleoperación de robots. Nvidia publica 100 000 horas de este vídeo humano en Hugging Face. Sus propias mediciones muestran que cuanto mayor es la proporción de vídeo humano, más progresa el robot: en 72 tareas, la progresión real pasa del 50% al 70% entre prescindir de vídeos humanos y utilizarlos por completo.

Cifras de generalización elevadas, pendientes de verificación

El resultado más destacado corresponde a 50 tareas que el robot de destino, equipado con dos manos Sharpa, nunca había practicado. Sin ninguna demostración, GR00T 2 tiene éxito en el 40% de los intentos. Una demostración por tarea eleva esta tasa al 71%, y cinco demostraciones al 95%, lo que supone menos de tres minutos de datos y 30 minutos de ajuste en una sola RTX 5090. Nvidia también muestra gestos aprendidos únicamente observando a humanos, como colocar papel de filtro en un embudo de laboratorio (65% de éxito).

Otra línea de trabajo es el control mediante agentes. Un modelo de razonamiento invoca a GR00T 2 como una herramienta, comprueba el progreso y recoloca la escena cuando se cae una pieza. Con este método, el brazo YAM ensambla tres juguetes con éxito en 97 a 98 de cada 100 intentos, frente a los 23 a 69 logrados únicamente con ajuste supervisado. Una variante más ligera, GR00T 2 Turbo (2000 millones de parámetros), se ejecuta directamente en el humanoide Unitree G1 con 124 ms por predicción.

Abierto, pero aún no descargable

Nvidia presenta GR00T 2 como un modelo abierto, en la línea de los anteriores GR00T, y anuncia en paralelo Isaac Lab 3.0 y dos bancos de pruebas abiertos, DexBench y VABAR. Sin embargo, todavía no se puede descargar nada: la página de investigación se limita a anunciar que el código estará «disponible en diciembre», sin fecha exacta ni licencia, y sin detallar si las ponderaciones estarán disponibles al mismo tiempo. En el ámbito industrial, Nvidia menciona a Foxconn para el ensamblaje de servidores, a Siemens y a Nexuni, que lo está probando para la manipulación de ropa.