Runway Characters: Echtzeit-Video-Avatare von Runway laufen nun auf vier statt acht H100-GPUs

Ein Avatar, der live per Video antwortet, darf niemals ins Hintertreffen geraten. Genau diese Anforderung beschreibt Runway in einem am 5. November veröffentlichten Forschungsbeitrag sowie einem begleitenden technischen Papier: wie Characters – interaktive Figuren, die aus einem einzigen Bild erstellt werden – mit einem Videomodell von rund 57 Milliarden Parametern bereitgestellt werden kann.

Eine Uhr, die niemals stillsteht

Klassische Videogenerierung arbeitet im eigenen Tempo des Modells: Man verfasst einen Prompt, wartet und erhält einen Clip. Ein interaktiver Charakter muss sich hingegen dem Rhythmus seines Gegenübers anpassen. Bei 24 Bildern pro Sekunde muss das Modell alle 166,7 ms einen Block aus vier Bildern in 704 x 1088 generieren – und das ununterbrochen über die gesamte Dauer des Gesprächs. Jedes Bild transportiert seinen Teil des Tons: Kommt ein Block zu spät, friert das Gesicht ein und die Stimme bricht gleichzeitig ab.

Zudem ist es unmöglich, Rechenressourcen wie bei den meisten anderen KI-Diensten über mehrere Nutzer hinweg zu bündeln: Jede Sitzung ist ein privater Eins-zu-eins-Stream. Sämtliche Effizienzgewinne mussten daher direkt aus den einzelnen Rechenschritten herausgeholt werden.

Halbierung der GPUs pro Sitzung

Zu Beginn verbrauchte Characters acht H100 pro Sitzung. Auf vier GPUs benötigte die ursprüngliche Software 240,9 ms pro Schritt – viel zu langsam. Runway stellte fest, dass 29 Prozent der GPU-Zeit für das erneute Verarbeiten eines weitgehend unveränderten Caches aufgewendet wurden; indem dieser Arbeitsschritt nur einmal beim Schreiben jedes Bildes ausgeführt wird, sank die Dauer der Cache-Verwaltung von 69,7 ms auf 6,2 ms pro Schritt. Ein Kernel, der Berechnung und Kommunikation zwischen GPUs zusammenführt, sowie eine dedizierte GPU für das Dekodieren der Bilder machten das Setup komplett. Das Ergebnis: 159,3 ms pro Schritt, was 24,5 Bildern pro Sekunde auf vier H100 entspricht, und 147,4 ms mit dem fusionierten Kernel. Das System läuft zudem auf drei B200-GPUs.

Um sicherzustellen, dass die Qualität nicht leidet, verglich Runway die Lippensynchronisation bei 51 Clips: Die Abweichungen blieben in derselben Größenordnung wie die Schwankungen zwischen zwei identischen Durchläufen. Der Beitrag thematisiert auch Ausfälle: Speicherlecks nach einem Software-Update und ein simpler Überwachungsaufruf, der einen Schritt von 168,5 auf 278 ms verlängerte.

Der eigentliche Engpass: die Stimme

Gemessen an 51 Redebeiträgen liegt die mediane Verzögerung zwischen dem Satzende des Nutzers und der Antwort des Charakters bei 2,13 s. Runways Videopipeline beansprucht davon lediglich 0,49 s; der Sprachagent hingegen 1,42 s. Zwischen Menschen, so erinnert Runway, dauert dieses Schweigen durchschnittlich etwa 208 ms.