Runway veröffentlicht Praxis-1: Aus Videos trainiertes Roboter-Aktionsmodell unter Apache 2.0 verfügbar

Runway, bekannt für seine generativen Videowerkzeuge, veröffentlicht die Gewichte von Praxis-1, seinem Modell zur Robotersteuerung, unter der Apache-2.0-Lizenz. Die Ankündigung vom 11. November löst ein im September gegebenes Versprechen ein, als das Unternehmen dieses erste „World Action Model“ vorgestellt hatte: ein Modell, das durch das Betrachten von Videos lernt, wie sich die Welt bewegt, und dieses Wissen anschließend nutzt, um einen mechanischen Arm zu steuern.

Vom generativen Video zu Roboterbewegungen

Die Grundidee ist einfach formuliert. Reale Roboterdaten sind rar und teuer in der Erfassung; herkömmliche Videos gibt es hingegen im Überfluss. Runway geht daher von seinem hauseigenen Videomodell aus – einem Mixture-of-Experts-Diffusions-Transformer – und trainiert es mit Videos von Händen und arbeitenden Robotern weiter. Der technische Bericht beschreibt die Architektur im Detail: ein Videonetzwerk, das den weiteren Verlauf der Szene imaginiert, und ein kleiner „Aktionsexperte“ (rund 314 Millionen Parameter), der diese Vorhersagen liest, um die auszuführende Bewegung abzuleiten. Bei jedem Aufruf erhält das Modell die Anweisung, die jüngsten Kamerabilder sowie die Position des Roboters und liefert 1,6 Sekunden an Bewegungen zurück, was 24 Steuerbefehlen bei 15 Hz entspricht.

Das Gesamtsystem umfasst 27,2 Milliarden Parameter, von denen etwa 2,8 Milliarden pro Token im Videoteil aktiv sind, und findet auf einer einzelnen 80-GB-GPU Platz (54,4 GB in bf16). Auf einer H100 dauert ein Aufruf ungefähr 0,55 bis 0,6 Sekunden – also ein Drittel der erzeugten Bewegungsdauer.

Was veröffentlicht wird

Die Lizenz deckt die Gewichte, den Inferenz- sowie den Fine-Tuning-Code ab, sowohl vollständig als auch per LoRA, einschließlich der kommerziellen Nutzung. Drei Checkpoints stehen auf Hugging Face bereit, mit nativer Unterstützung für LeRobot: eine für den Franka-Arm angepasste Version (DROID-Datensatz), eine für den zweiarmigen Roboter YAM sowie das Basismodell zur Anpassung an die eigene Hardware. Runway liefert zudem einen Policy-Server, eine MuJoCo-Simulation und eine Integration in vLLM-Omni. Nach Angaben des Anbieters läuft das Modell auf NVIDIA-GPUs, von der H100 über die RTX 5090 bis hin zum Embedded-Modul Jetson Thor; der Hersteller kündigt zudem die Veröffentlichung von 4-Bit-quantisierten Versionen (NVFP4, 17,5 GB) an.

Zahlen, die mit Vorsicht zu lesen sind

Runway positioniert Praxis-1 an der Spitze der „World Action Models“ und der offenen Modelle im RoboLab-120-Ranking von NVIDIA mit einer Erfolgsquote von 46,2 Prozent in der Simulation, vor FLUX 3 Action von Black Forest Labs (42,9 Prozent). Der Bericht stellt selbst klar, dass vier Einträge besser abschneiden, darunter zwei von Spitzenmodellen gesteuerte Agenten und zwei proprietäre Modelle. An einem realen Franka-Arm berichtet das Unternehmen von 88 Erfolgen bei 100 Versuchen gegenüber 80 bei FLUX 3 Action.

Der bemerkenswerteste Vergleich stellt Praxis-1 dem Modell GPT-6 Astra gegenüber, das denselben zweiarmigen YAM-Roboter auf derselben Station steuerte: 15,6-mal schneller und 51-mal günstiger pro erfolgreicher Aufgabe, so Runway. Diese Messungen beziehen sich jedoch nur auf drei Aufgaben und wurden vom Anbieter selbst durchgeführt. Der Bericht führt auch Schwachstellen auf: Gelegentlich greift der Roboter nach einem Objekt, das dem Ziel ähnelt, tut sich schwer mit vagen Prompts und hat Probleme, mehrere auf einmal erteilte Teilschritte nacheinander abzuarbeiten.