Genie 4 : Google DeepMind ajoute le son, la parole et le pilotage par texte à son modèle de monde

Google DeepMind a présenté ce mardi 27 octobre Genie 4, la nouvelle génération de son « modèle de monde » : un système qui ne produit pas une vidéo figée, mais un environnement que l’on explore en temps réel et qui réagit à ce que l’on fait. L’annonce est tombée sur X à 17 h 10, heure de Paris, accompagnée d’un billet de blog signé Raia Hadsell, Diego Rivas et Hang Qi.

Personne ne peut encore l’essayer librement : Genie 4 est un aperçu de recherche réservé à des testeurs choisis par Google. Il doit arriver « bientôt » chez les abonnés Google AI Ultra, dans l’application Project Genie, et chez des partenaires en accès anticipé de l’API Gemini et de Google AI Studio. Une liste d’attente est ouverte.

Ce qui change : le son et la parole

La nouveauté la plus nette est l’audio natif. DeepMind présente Genie 4 comme son premier modèle de monde en temps réel qui génère le son en même temps que l’image : le vent dans les arbres, les vagues, la musique jouée dans la scène. Surtout, les personnages peuvent parler et répondre à l’utilisateur ou aux événements, avec des dialogues qui s’adaptent à la volée. Google reconnaît lui-même que la justesse de l’audio en temps réel reste un sujet de recherche.

Un monde que l’on pilote par écrit

L’utilisateur se déplace et oriente la caméra au clavier, et modifie la scène en langage naturel : faire tomber la pluie, déplacer la caméra, faire entrer une personne ou un objet. C’est ici que Gemini intervient. Genie 4 s’appuie sur Gemini Omni pour ancrer les images dans une apparence et un comportement réalistes, tandis que d’autres modèles Gemini servent de « cerveau » : ils traduisent les demandes en actions, planifient les événements en plusieurs étapes et surveillent la scène pour qu’elle reste cohérente entre deux instructions.

DeepMind met aussi en avant la physique (aérodynamique, collisions) et la façon dont les personnages bougent et réagissent, qu’il décrit comme le progrès le plus spectaculaire. Ces affirmations reposent pour l’instant sur les démonstrations choisies par Google.

À quoi cela doit servir

Google cite des testeurs dans le cinéma (prévisualisation d’une scène, plusieurs « prises » en direct en changeant l’angle, la lumière ou le dialogue), le jeu vidéo (passer d’une idée à un prototype explorable avant d’écrire du code), l’éducation et le photojournalisme, où une photo d’archive peut devenir un environnement simulé. L’autre usage, plus stratégique, est l’entraînement d’agents et de robots dans des environnements variés : le billet montre Genie 4 associé à Gemini 4 Argon pour simuler un humanoïde Apollo d’Apptronik jouant aux dames.

Les limites reconnues

Google qualifie Genie 4 de modèle « précoce et expérimental ». Les détails visuels et la permanence des objets peuvent dériver quand la session s’allonge, après plusieurs modifications complexes ou quand on se déplace dans la scène. Les interactions physiques complexes, le texte lisible, la précision spatiale et la cohérence sur la durée restent à améliorer. Google ne donne ni prix, ni date précise, ni résolution, ni durée maximale de session. Côté sécurité, toutes les images et tous les sons produits portent le filigrane invisible SynthID, et le modèle applique les mêmes règles de contenu que les autres modèles de Google.