Runway rilascia Praxis-1, il suo modello d'azione per robot addestrato su video, con licenza Apache 2.0

Runway, nota per i suoi strumenti di video generativo, rilascia i pesi di Praxis-1, il suo modello per il controllo di robot, sotto licenza Apache 2.0. L’annuncio dell’11 novembre concretizza un impegno assunto a settembre, quando l’azienda aveva presentato questo primo «world action model»: un modello che apprende come si muove il mondo guardando video, per poi utilizzarlo per guidare un braccio meccanico.

Dal video generativo ai movimenti di un robot

L’idea di partenza è semplice da enunciare. I dati provenienti da robot reali sono rari e costosi da raccogliere; i video ordinari, invece, abbondano. Runway parte quindi dal proprio modello video proprietario, un transformer di diffusione a miscela di esperti, e lo riaddestra su video di mani e robot all’opera. Il report tecnico descrive nel dettaglio l’architettura: una rete video che immagina il seguito della scena e un piccolo «esperto d’azione» (circa 314 milioni di parametri) che legge queste previsioni per dedurne il movimento da compiere. A ogni chiamata, il modello riceve l’istruzione, le ultime immagini dalle telecamere e la posizione del robot, e restituisce 1,6 secondi di movimenti, ovvero 24 comandi a 15 Hz.

Nel complesso conta 27,2 miliardi di parametri, di cui circa 2,8 miliardi attivi per token nella componente video, ed entra in una sola GPU da 80 GB (54,4 GB in bf16). Su una H100, una chiamata richiede da circa 0,55 a 0,6 secondi, pari a un terzo della durata del movimento generato.

Cosa è stato rilasciato

La licenza copre i pesi, il codice di inferenza e il codice di fine-tuning, completo o tramite LoRA, anche per uso commerciale. Tre checkpoint sono messi a disposizione su Hugging Face, con supporto nativo per LeRobot: una versione ottimizzata per il braccio Franka (dataset DROID), una per il robot a due bracci YAM e il modello di base, da adattare al proprio hardware. Runway fornisce anche un server di policy, una simulazione MuJoCo e l’integrazione con vLLM-Omni. Secondo l’azienda, il modello gira su GPU NVIDIA, dalla H100 alla RTX 5090 fino al modulo embedded Jetson Thor; l’azienda annuncia inoltre che pubblicherà versioni quantizzate a 4 bit (NVFP4, 17,5 GB).

Numeri da interpretare con cautela

Runway colloca Praxis-1 al vertice dei «world action models» e dei modelli aperti nella classifica RoboLab-120 di NVIDIA, con il 46,2% di compiti riusciti in simulazione, davanti a FLUX 3 Action di Black Forest Labs (42,9%). Lo stesso report specifica che quattro partecipanti ottengono risultati superiori, tra cui due agenti guidati da modelli all’avanguardia e due modelli chiusi. Su un vero braccio Franka, l’azienda riporta 88 successi su 100 contro gli 80 di FLUX 3 Action.

Il confronto più eclatante mette a fronte Praxis-1 e GPT-6 Astra, impiegato per guidare lo stesso robot a due bracci YAM sulla medesima postazione: 15,6 volte più veloce e 51 volte meno costoso per compito completato con successo, secondo Runway. Queste misurazioni si riferiscono a soli tre compiti e sono state condotte dall’azienda stessa. Il report elenca anche i punti deboli: il robot talvolta afferra un oggetto simile al bersaglio, incontra difficoltà in presenza di istruzioni vaghe e fatica a concatenare più passaggi forniti in un unico comando.