PAN 2 : le modèle de monde ouvert de l'IFM simule en vidéo les conséquences d'une action avant qu'un agent agisse

L’Institute of Foundation Models (IFM), le laboratoire de modèles de fondation de l’université émiratie MBZUAI, a présenté le 10 novembre 2026 PAN 2, un modèle de monde ouvert. Son principe tient en une formule de l’IFM : un modèle de langage prédit le mot suivant, PAN 2 prédit « le monde suivant ». À partir d’une image et d’actions décrites en texte, il produit une vidéo, jusqu’à 20 secondes, de ce qui se passerait ensuite. Le code et les poids sont publiés sous licence Apache 2.0.

Deux étages : le scénario, puis l’image

PAN 2 reprend l’architecture du premier PAN, décrit par l’IFM dans un rapport technique en novembre 2025, en la découpant en deux étages. Un modèle de langage, que l’IFM appelle le « raisonnement conceptuel », lit l’observation de départ et les actions demandées, puis rédige le prochain état du monde sous forme de description structurée : qui fait quoi, à quel moment, et comment bouge la caméra. Un modèle de diffusion de 29 milliards de paramètres, entraîné de zéro sur des centaines de millions de vidéos annotées dans ce même format, se charge du « raisonnement perceptif » : il remplit ce que le texte laisse ouvert (géométrie, matières, détails du mouvement). Le décodeur du VAE de Wan 2.2 transforme ensuite le résultat en vidéo de 704 × 1248 pixels à 24 images par seconde.

Ce découpage a une conséquence pratique : n’importe quel modèle de langage qui suit bien les consignes peut jouer le rôle de premier étage. La fiche cite ceux testés dans le rapport, classés selon leur taux de plans d’action menés à bout : Claude Opus 5.5, GPT-6 Astra, Kimi K3 et Qwen 3.8 Flash. L’IFM fournit aussi une « compétence » pour agents de code et un script local pour réécrire une demande libre dans le format attendu.

La page de présentation insiste sur trois points : le temps (changer le moment d’une action change l’issue, comme un surfeur qui se lève trop tôt ou trop tard sur la vague), la physique (lait, encre et huile versés dans l’eau ne se comportent pas pareil) et l’espace (une pièce reste la même quand la caméra fait un tour complet).

Ce qu’il faut pour le faire tourner

Seul le modèle de diffusion est publié par l’IFM ; l’encodeur de texte (Qwen3.5-9B) et le VAE (Wan 2.2) se téléchargent depuis leurs propres dépôts, sous leurs licences. Chaque processus de génération charge l’intégralité du modèle de 29 milliards de paramètres sur un GPU, en BF16 : on parle de cartes de centre de données, pas de matériel grand public. La fiche annonce une prise en charge dans Diffusers et vLLM, en plus du script de l’IFM.

L’IFM recommande fortement de l’utiliser derrière un garde-fou distribué à part, pan2-guardrail, qui filtre la demande avant génération puis la vidéo produite. La fiche exclut notamment les deepfakes de personnes réelles sans consentement, la désinformation et les décisions critiques pour la sécurité sans validation humaine.

Ce qui reste à vérifier

Les comparaisons publiées (Physics-IQ Verified, PhyGround, RBench, préférence humaine en Elo sur 140 prompts et 13 évaluateurs) sont toutes produites par l’IFM. Les chiffres de son garde-fou viennent aussi de tests internes : il ramènerait de 33,9 % à 1,5 % la part de demandes nuisibles qui aboutissent à une vidéo problématique, mais bloquerait 11,5 % des demandes légitimes en texte-vers-vidéo.

L’IFM est franche sur les limites : environ deux plans d’action simulés sur trois contiennent au moins une étape qui ne se réalise pas ; le modèle est sensible à la formulation ; l’apparence dérive d’un clip à l’autre dans les longues interactions ; les gestes fins (où chaque doigt touche un objet) restent mal décrits par du texte ; et une simulation peut avancer en trichant avec la physique, comme des pâtes qui apparaissent dans la passoire avant d’être égouttées.