Nvidia apresenta GR00T 2, modelo que prevê vídeo e gestos para ensinar robôs a partir de vídeos humanos

Depois da visão computacional e da linguagem, a robótica também passa a adotar modelos que “imaginam” o que vem a seguir. A Nvidia apresentou em 9 de novembro, na conferência CoRL em Austin, o GR00T 2, uma nova geração de seus modelos para robôs. Seu diferencial: ele não se limita a escolher um gesto, mas prevê ao mesmo tempo como a cena estará instantes depois.

Prever o vídeo para aprender com humanos

O GR00T 2 é um “modelo de mundo e ação”: um único transformador de difusão remove o ruído simultaneamente do vídeo futuro, captado por três câmeras, e de um bloco de comandos para as articulações. Pequenas cabeças específicas para cada robô traduzem esse plano em ordens motoras, o que permite ao mesmo modelo controlar garras, mãos de cinco dedos ou um humanoide.

A vantagem de prever o vídeo, segundo a Nvidia, é poder aprender a física a partir de vídeos humanos, que não contêm nenhum comando robótico. O pré-treinamento reúne assim 402.730 horas de vídeo gravado em primeira pessoa, cerca de 10.000 horas de demonstrações com uma garra portátil e 23.500 horas de teleoperação de robôs. A Nvidia disponibilizou 100.000 horas desse vídeo humano no Hugging Face. Suas próprias medições mostram que quanto maior a proporção de vídeo humano, mais o robô avança: em 72 tarefas, a progressão real salta de 50% para 70% entre nenhum vídeo humano e o volume total.

Números altos de generalização, ainda a verificar

O resultado em destaque envolve 50 tarefas que o robô de destino, equipado com duas mãos Sharpa, nunca havia praticado. Sem nenhuma demonstração, o GR00T 2 alcança 40% de sucesso nas tentativas. Uma demonstração por tarefa eleva esse índice para 71%, e cinco demonstrações levam a 95%, o que equivale a menos de três minutos de dados e 30 minutos de ajuste em uma única RTX 5090. A Nvidia também mostra gestos aprendidos apenas observando humanos, como colocar papel de filtro em um funil de laboratório (65% de sucesso).

Outra frente é o controle por um agente. Um modelo de raciocínio aciona o GR00T 2 como uma ferramenta, confere o andamento e repara a cena quando uma peça cai. Nesse modo, o braço YAM monta três brinquedos em 97 a 98 tentativas em cada 100, contra 23 a 69 apenas com o ajuste supervisionado. Uma variante reduzida, o GR00T 2 Turbo (2 bilhões de parâmetros), roda diretamente no humanoide Unitree G1, com 124 ms por previsão.

Aberto, mas ainda indisponível para download

A Nvidia apresenta o GR00T 2 como um modelo aberto, seguindo a linha das versões anteriores do GR00T, e anunciou em paralelo o Isaac Lab 3.0 e dois bancos de testes abertos, DexBench e VABAR. No entanto, nada está disponível para download no momento: a página de pesquisa informa apenas código “disponível em dezembro”, sem data exata nem licença, e sem esclarecer se os pesos virão juntos. No setor industrial, a Nvidia cita a Foxconn para a montagem de servidores, a Siemens e a Nexuni, que está testando o modelo para a manipulação de roupas.