Nvidia stellt GR00T 2 vor: Ein Modell, das Video und Gesten vorhersagt, um Roboter anhand menschlicher Videos zu trainieren

Nach Bildverarbeitung und Sprache übernimmt nun auch die Robotik Modelle, die künftige Zustände vorausahnen. Nvidia hat am 9. November auf der CoRL-Konferenz in Austin GR00T 2 vorgestellt, eine neue Generation seiner Basismodelle für Roboter. Die Besonderheit: Das Modell wählt nicht bloß die nächste Geste aus, sondern sagt gleichzeitig voraus, wie die Szene wenige Augenblicke später aussehen wird.

Videovorhersage, um von Menschen zu lernen

GR00T 2 ist ein sogenanntes „Welt-Aktions-Modell“: Ein einzelner Diffusions-Transformer entrauscht gemeinsam das zukünftige Videomaterial – erfasst aus der Perspektive von drei Kameras – und einen Steuerungsblock für die Gelenke. Spezifische kleine Modellköpfe für jeden Robotertyp übersetzen diesen Plan anschließend in Motorbefehle. Dadurch kann dasselbe Modell herkömmliche Greifer, fünffingrige Hände oder humanoide Roboter steuern.

Der Vorteil der Videovorhersage liegt laut Nvidia darin, physikalische Zusammenhänge anhand menschlicher Videos zu erlernen, die keinerlei Robotersteuerungsdaten enthalten. Das Vortraining kombiniert daher 402.730 Stunden Material aus der Ich-Perspektive, rund 10.000 Stunden Demonstrationen mit einem tragbaren Handgreifer und 23.500 Stunden Roboter-Fernsteuerung. Nvidia stellt 100.000 Stunden dieser menschlichen Videoaufnahmen auf Hugging Face bereit. Eigene Messungen zeigen: Je größer der Anteil an menschlichen Videos, desto deutlicher die Fortschritte des Roboters. Bei 72 Aufgaben stieg die reale Erfolgsrate von 50 Prozent (ohne menschliche Videos) auf 70 Prozent (unter voller Einbindung).

Hohe Generalisierungsraten, die noch zu überprüfen sind

Besonders hervorgehoben wird ein Ergebnis bei 50 Aufgaben, die der Zielroboter – ausgestattet mit zwei Sharpa-Händen – zuvor nie geübt hatte. Ohne jegliche vorherige Demonstration bewältigt GR00T 2 40 Prozent der Durchläufe. Eine Demonstration pro Aufgabe steigert diesen Wert auf 71 Prozent, fünf Demonstrationen bringen ihn auf 95 Prozent – erreicht mit weniger als drei Minuten an Daten und 30 Minuten Feinabstimmung auf einer einzigen RTX 5090. Nvidia demonstrierte auch Bewegungsabläufe, die ausschließlich durch das Beobachten von Menschen erlernt wurden, wie etwa das Auskleiden eines Labortrichters mit Filterpapier (65 Prozent Erfolgsquote).

Ein weiterer Schwerpunkt ist die Steuerung durch einen KI-Agenten: Ein logisches Denkmodell ruft GR00T 2 als Werkzeug auf, überprüft den Fortschritt und korrigiert die Szene selbstständig, falls ein Bauteil herunterfällt. In diesem Modus setzt der YAM-Arm drei Spielzeuge in 97 bis 98 von 100 Versuchen erfolgreich zusammen – gegenüber lediglich 23 bis 69 Versuchen bei reiner überwachter Feinabstimmung. Eine ressourcenschonendere Variante, GR00T 2 Turbo (2 Milliarden Parameter), läuft mit einer Latenz von 124 ms pro Vorhersage direkt auf dem humanoiden Roboter Unitree G1.

Offen, aber noch nicht zum Download bereit

Nvidia bezeichnet GR00T 2 in Anlehnung an frühere GR00T-Versionen als offenes Modell und kündigte parallel Isaac Lab 3.0 sowie zwei offene Benchmarks an: DexBench und VABAR. Herunterladen lässt sich davon allerdings noch nichts. Die Forschungsseite verweist lediglich darauf, dass der Code „im Dezember verfügbar“ sein werde – ohne konkretes Datum oder Lizenzdetails und ohne Klarstellung, ob die Gewichte zur selben Zeit veröffentlicht werden. Auf Industrieseite verweist Nvidia auf Foxconn für die Servermontage sowie auf Siemens und Nexuni, wo das Modell derzeit für die Handhabung von Wäsche getestet wird.