Runway ouvre Praxis-1, son modèle d'action pour robots appris sur la vidéo, sous licence Apache 2.0

Runway, connu pour ses outils de vidéo générative, publie les poids de Praxis-1, son modèle de contrôle de robots, sous licence Apache 2.0. L’annonce du 11 novembre concrétise un engagement pris en septembre, quand l’entreprise avait présenté ce premier « world action model » : un modèle qui apprend comment le monde bouge en regardant de la vidéo, puis s’en sert pour piloter un bras mécanique.

De la vidéo générative aux gestes d’un robot

L’idée de départ est simple à énoncer. Les données de robots réels sont rares et chères à collecter ; la vidéo ordinaire, elle, abonde. Runway part donc de son modèle vidéo maison, un transformeur de diffusion à mélange d’experts, et le réentraîne sur des vidéos de mains et de robots au travail. Le rapport technique détaille l’architecture : un réseau vidéo qui imagine la suite de la scène, et un petit « expert d’action » (environ 314 millions de paramètres) qui lit ces prédictions pour en déduire le mouvement à effectuer. À chaque appel, le modèle reçoit la consigne, les dernières images des caméras et la position du robot, et renvoie 1,6 seconde de gestes, soit 24 commandes à 15 Hz.

L’ensemble pèse 27,2 milliards de paramètres, dont environ 2,8 milliards actifs par jeton dans la partie vidéo, et tient sur un seul GPU de 80 Go (54,4 Go en bf16). Sur un H100, un appel prend environ 0,55 à 0,6 seconde, soit un tiers de la durée de mouvement produite.

Ce qui est publié

La licence couvre les poids, le code d’inférence et le code d’ajustement, complet ou par LoRA, y compris pour un usage commercial. Trois points de contrôle sont mis en ligne sur Hugging Face, avec prise en charge native de LeRobot : une version ajustée pour le bras Franka (jeu de données DROID), une pour le robot à deux bras YAM et le modèle de base, à adapter à son propre matériel. Runway fournit aussi un serveur de politique, une simulation MuJoCo et une intégration à vLLM-Omni. Selon l’éditeur, le modèle tourne sur GPU NVIDIA, du H100 à la RTX 5090 et jusqu’au module embarqué Jetson Thor ; l’éditeur annonce qu’il publiera des versions quantifiées en 4 bits (NVFP4, 17,5 Go).

Des chiffres à lire avec précaution

Runway place Praxis-1 en tête des « world action models » et des modèles ouverts du classement RoboLab-120 de NVIDIA, avec 46,2 % de tâches réussies en simulation, devant FLUX 3 Action de Black Forest Labs (42,9 %). Le rapport précise lui-même que quatre entrées font mieux, dont deux agents pilotés par des modèles de pointe et deux modèles fermés. Sur un vrai bras Franka, l’entreprise rapporte 88 réussites sur 100 contre 80 pour FLUX 3 Action.

La comparaison la plus frappante oppose Praxis-1 à GPT-6 Astra, utilisé pour piloter le même robot à deux bras YAM, sur la même station : 15,6 fois plus rapide et 51 fois moins cher par tâche réussie, selon Runway. Ces mesures portent sur trois tâches seulement et ont été faites par l’éditeur. Le rapport liste aussi les faiblesses : le robot attrape parfois un objet qui ressemble à la cible, peine avec des consignes vagues et enchaîne mal plusieurs étapes données d’un coup.