Runway abre Praxis-1, su modelo de acción para robots entrenado con vídeo, bajo licencia Apache 2.0

Runway, conocida por sus herramientas de vídeo generativo, publica los pesos de Praxis-1, su modelo de control de robots, bajo licencia Apache 2.0. El anuncio del 11 de noviembre materializa un compromiso adquirido en septiembre, cuando la empresa presentó este primer «world action model»: un modelo que aprende cómo se mueve el mundo observando vídeo, para luego utilizar ese conocimiento al pilotar un brazo mecánico.

Del vídeo generativo a los gestos de un robot

La idea inicial es sencilla de formular. Los datos de robots reales son escasos y costosos de recopilar; el vídeo convencional, en cambio, abunda. Runway parte así de su modelo de vídeo propio, un transformador de difusión con mezcla de expertos, y lo vuelve a entrenar con vídeos de manos y de robots trabajando. El informe técnico detalla la arquitectura: una red de vídeo que imagina la continuación de la escena, y un pequeño «experto de acción» (de unos 314 millones de parámetros) que lee esas predicciones para deducir el movimiento a realizar. En cada llamada, el modelo recibe la instrucción, las últimas imágenes de las cámaras y la posición del robot, y devuelve 1,6 segundos de gestos, es decir, 24 comandos a 15 Hz.

El conjunto suma 27,2 mil millones de parámetros, de los cuales cerca de 2,8 mil millones están activos por token en la parte de vídeo, y cabe en una sola GPU de 80 GB (54,4 GB en bf16). En una H100, una llamada tarda entre 0,55 y 0,6 segundos, lo que supone un tercio de la duración del movimiento generado.

Qué se publica

La licencia cubre los pesos, el código de inferencia y el código de ajuste, ya sea completo o mediante LoRA, incluyendo el uso comercial. Se publican tres puntos de control en Hugging Face, con soporte nativo de LeRobot: una versión ajustada para el brazo Franka (conjunto de datos DROID), otra para el robot de dos brazos YAM y el modelo base, destinado a adaptarse al hardware propio. Runway proporciona también un servidor de políticas, una simulación MuJoCo y una integración con vLLM-Omni. Según la empresa, el modelo funciona en GPU de NVIDIA, desde la H100 hasta la RTX 5090 y el módulo integrado Jetson Thor; la compañía anuncia además que publicará versiones cuantizadas a 4 bits (NVFP4, 17,5 GB).

Cifras que leer con cautela

Runway sitúa a Praxis-1 en cabeza de los «world action models» y de los modelos abiertos en la clasificación RoboLab-120 de NVIDIA, con un 46,2% de tareas exitosas en simulación, por delante de FLUX 3 Action de Black Forest Labs (42,9%). El informe matiza que cuatro registros obtienen mejores resultados, entre ellos dos agentes controlados por modelos punteros y dos modelos cerrados. En un brazo Franka real, la empresa reporta 88 éxitos de 100 frente a 80 de FLUX 3 Action.

La comparación más llamativa sitúa a Praxis-1 frente a GPT-6 Astra, empleado para controlar el mismo robot de dos brazos YAM en la misma estación: 15,6 veces más rápido y 51 veces más barato por tarea completada con éxito, según Runway. Estas mediciones abarcan únicamente tres tareas y han sido realizadas por la propia empresa. El informe enumera también sus debilidades: el robot a veces agarra un objeto que se asemeja al objetivo, tiene problemas con instrucciones ambiguas y encadena con dificultad varios pasos cuando se le dan en una sola indicación.