Genie 4: Google DeepMind erweitert sein Weltmodell um Ton, Sprache und Textsteuerung

Google DeepMind hat diesen Dienstag, den 27. Oktober, Genie 4 vorgestellt, die neue Generation seines „Weltmodells“: ein System, das kein starres Video produziert, sondern eine Umgebung, die man in Echtzeit erkundet und die auf das reagiert, was man tut. Die Ankündigung fiel auf X um 17:10 Uhr, Pariser Zeit, begleitet von einem Blogbeitrag unterzeichnet von Raia Hadsell, Diego Rivas und Hang Qi.

Niemand kann es bisher frei ausprobieren: Genie 4 ist ein Forschungsvorschau, der ausgewählten Testern von Google vorbehalten ist. Es soll „bald“ bei Google-AI-Ultra-Abonnenten in der App Project Genie und bei Partnern mit frühem Zugang zur Gemini-API und zu Google AI Studio eintreffen. Eine Warteliste ist geöffnet.

Was sich ändert: Ton und Sprache

Die deutlichste Neuerung ist der native Audio. DeepMind stellt Genie 4 als sein erstes Echtzeit-Weltmodell vor, das den Ton gleichzeitig mit dem Bild generiert: der Wind in den Bäumen, die Wellen, die Musik, die in der Szene gespielt wird. Vor allem können die Charaktere sprechen und dem Nutzer oder Ereignissen antworten, mit Dialogen, die sich spontan anpassen. Google räumt selbst ein, dass die Genauigkeit des Echtzeit-Audios ein Forschungsthema bleibt.

Eine Welt, die man per Text steuert

Der Nutzer bewegt sich und richtet die Kamera mit der Tastatur aus und ändert die Szene in natürlicher Sprache: Regen fallen lassen, die Kamera bewegen, eine Person oder ein Objekt eintreten lassen. Hier kommt Gemini ins Spiel. Genie 4 baut auf Gemini Omni, um die Bilder in einem realistischen Aussehen und Verhalten zu verankern, während andere Gemini-Modelle als „Gehirn“ dienen: Sie übersetzen Anfragen in Aktionen, planen Ereignisse in mehreren Schritten und überwachen die Szene, damit sie zwischen zwei Anweisungen kohärent bleibt.

DeepMind hebt auch die Physik (Aerodynamik, Kollisionen) und die Art und Weise hervor, wie sich Charaktere bewegen und reagieren, was es als spektakulärsten Fortschritt beschreibt. Diese Aussagen beruhen vorerst auf den von Google ausgewählten Demonstrationen.

Wofür das dienen soll

Google zitiert Tester aus dem Kino (Vorvisualisierung einer Szene, mehrere „Einstellungen“ live durch Ändern von Winkel, Licht oder Dialog), dem Videospiel (von einer Idee zu einem erkundbaren Prototyp, bevor man Code schreibt), der Bildung und dem Fotojournalismus, wo ein Archivfoto zu einer simulierten Umgebung werden kann. Die andere, strategischere Nutzung ist das Training von Agenten und Robotern in vielfältigen Umgebungen: Der Beitrag zeigt Genie 4 in Verbindung mit Gemini 4 Argon, um einen humanoiden Apollo von Apptronik beim Damespiel zu simulieren.

Die anerkannten Grenzen

Google bezeichnet Genie 4 als „frühes und experimentelles“ Modell. Visuelle Details und die Beständigkeit von Objekten können bei längeren Sitzungen abdriften, nach mehreren komplexen Änderungen oder beim Bewegen in der Szene. Komplexe physikalische Interaktionen, lesbarer Text, räumliche Präzision und langfristige Kohärenz müssen noch verbessert werden. Google nennt weder Preis noch genaues Datum, noch Auflösung oder maximale Sitzungsdauer. Was die Sicherheit betrifft, tragen alle erzeugten Bilder und Töne das unsichtbare SynthID-Wasserzeichen, und das Modell wendet dieselben Inhaltsregeln an wie die anderen Google-Modelle.