Runway abre o Praxis-1, seu modelo de ação para robôs treinado em vídeo, sob licença Apache 2.0

Runway, conhecida por suas ferramentas de vídeo generativo, publica os pesos do Praxis-1, seu modelo de controle de robôs, sob licença Apache 2.0. O anúncio de 11 de novembro concretiza um compromisso assumido em setembro, quando a empresa apresentou este primeiro “world action model”: um modelo que aprende como o mundo se move assistindo a vídeos e, em seguida, utiliza esse aprendizado para controlar um braço mecânico.

Do vídeo generativo aos gestos de um robô

A ideia inicial é simples de enunciar. Os dados de robôs reais são raros e caros de coletar; já os vídeos comuns existem em abundância. A Runway partiu, então, de seu próprio modelo de vídeo, um transformador de difusão com mistura de especialistas, e o retreinou em vídeos de mãos e robôs em atividade. O relatório técnico detalha a arquitetura: uma rede de vídeo que prevê a continuação da cena e um pequeno “especialista de ação” (cerca de 314 milhões de parâmetros) que lê essas previsões para deduzir o movimento a ser executado. A cada chamada, o modelo recebe a instrução, as últimas imagens das câmeras e a posição do robô, retornando 1,6 segundo de gestos, ou seja, 24 comandos a 15 Hz.

O conjunto totaliza 27,2 bilhões de parâmetros, dos quais cerca de 2,8 bilhões ficam ativos por token na parte de vídeo, cabendo em uma única GPU de 80 GB (54,4 GB em bf16). Em uma H100, uma chamada leva aproximadamente de 0,55 a 0,6 segundo, o equivalente a um terço da duração do movimento gerado.

O que foi publicado

A licença abrange os pesos, o código de inferência e o código de ajuste fino, completo ou via LoRA, inclusive para uso comercial. Três pontos de verificação foram disponibilizados no Hugging Face, com suporte nativo ao LeRobot: uma versão ajustada para o braço Franka (conjunto de dados DROID), uma para o robô de dois braços YAM e o modelo base, voltado para adaptação ao próprio hardware. A Runway também fornece um servidor de políticas, uma simulação MuJoCo e integração com o vLLM-Omni. Segundo a desenvolvedora, o modelo roda em GPUs NVIDIA, da H100 à RTX 5090 e até no módulo embarcado Jetson Thor; a desenvolvedora anuncia ainda que publicará versões quantizadas em 4 bits (NVFP4, 17,5 GB).

Números para ler com cautela

A Runway posiciona o Praxis-1 no topo dos “world action models” e dos modelos abertos do ranking RoboLab-120 da NVIDIA, com 46,2% de tarefas bem-sucedidas em simulação, superando o FLUX 3 Action da Black Forest Labs (42,9%). O próprio relatório ressalta que quatro entradas têm desempenho superior, incluindo dois agentes controlados por modelos de ponta e dois modelos fechados. Em um braço Franka real, a empresa relata 88 sucessos em 100 contra 80 do FLUX 3 Action.

A comparação mais impressionante coloca o Praxis-1 frente a frente com o GPT-6 Astra, utilizado para controlar o mesmo robô de dois braços YAM na mesma estação de trabalho: 15,6 vezes mais rápido e 51 vezes mais barato por tarefa bem-sucedida, segundo a Runway. Essas medições consideram apenas três tarefas e foram realizadas pela própria desenvolvedora. O relatório lista também pontos fracos: o robô por vezes segura um objeto parecido com o alvo, tem dificuldades com instruções vagas e não lida bem com várias etapas passadas de uma só vez.