PAN 2: Offenes Weltmodell des IFM simuliert Handlungsfolgen als Video, bevor ein Agent agiert

Das Institute of Foundation Models (IFM), das Labor für Basismodelle der emiratischen Universität MBZUAI, hat am 10. November 2026 mit PAN 2 ein offenes Weltmodell vorgestellt. Das Prinzip fasst das IFM in einer einfachen Formel zusammen: Ein Sprachmodell sagt das nächste Wort voraus, PAN 2 sagt „die nächste Welt“ voraus. Ausgehend von einem Bild und in Text beschriebenen Handlungen erzeugt es ein bis zu 20 Sekunden langes Video dessen, was als Nächstes geschehen würde. Code und Modellgewichte stehen unter der Apache-2.0-Lizenz zur Verfügung.

Zwei Stufen: erst das Drehbuch, dann das Bild

PAN 2 greift die Architektur des ersten PAN auf, die das IFM im November 2025 in einem technischen Bericht beschrieben hatte, und unterteilt sie in zwei Stufen. Ein Sprachmodell, das vom IFM als „konzeptioneller Verstand“ bezeichnet wird, liest die anfängliche Beobachtung sowie die geforderten Aktionen ein und formuliert anschließend den nächsten Zustand der Welt als strukturierte Beschreibung: wer was zu welchem Zeitpunkt tut und wie sich die Kamera bewegt. Ein Diffusionsmodell mit 29 Milliarden Parametern, das von Grund auf mit Hunderten Millionen entsprechend annotierter Videos trainiert wurde, übernimmt den „perzeptiven Verstand“: Es füllt die Lücken, die der Text offenlässt (Geometrie, Materialien, Bewegungsdetails). Der Decoder des VAE von Wan 2.2 wandelt das Ergebnis anschließend in ein Video mit 704 × 1248 Pixeln bei 24 Bildern pro Sekunde um.

Diese Aufteilung hat einen praktischen Vorteil: Jedes Sprachmodell, das Anweisungen präzise befolgt, kann die erste Stufe übernehmen. Die Modellkarte listet die im Bericht getesteten Modelle auf, geordnet nach der Rate vollständig ausgeführter Pläne: Claude Opus 5.5, GPT-6 Astra, Kimi K3 und Qwen 3.8 Flash. Das IFM stellt zudem eine Erweiterung („Skill“) für Coding-Agenten sowie ein lokales Skript bereit, um freie Texteingaben in das erwartete Format zu überführen.

Die Präsentationsseite hebt drei Schwerpunkte hervor: die Zeit (eine zeitliche Verschiebung einer Aktion ändert den Ausgang, etwa bei einem Surfer, der zu früh oder zu spät auf der Welle aufsteht), die Physik (Milch, Tinte und Öl verhalten sich in Wasser unterschiedlich) und den Raum (ein Raum bleibt derselbe, wenn sich die Kamera einmal komplett um die eigene Achse dreht).

Voraussetzungen für den Betrieb

Lediglich das Diffusionsmodell wird direkt vom IFM bereitgestellt; der Text-Encoder (Qwen3.5-9B) und der VAE (Wan 2.2) müssen aus ihren jeweiligen Repositories unter deren eigenen Lizenzen heruntergeladen werden. Jeder Generierungsprozess lädt das vollständige Modell mit 29 Milliarden Parametern in BF16 auf eine GPU: Erforderlich sind Beschleunigerkarten für Rechenzentren, keine Endverbraucher-Hardware. Neben dem Skript des IFM wird in der Dokumentation eine Unterstützung durch Diffusers und vLLM angekündigt.

Das IFM rät dringend dazu, das Modell hinter einem separat vertriebenen Sicherheitsfilter (pan2-guardrail) zu betreiben. Dieser filtert die Eingabe vor der Generierung und prüft anschließend das erzeugte Video. Ausgeschlossen werden laut Modellkarte unter anderem Deepfakes realer Personen ohne deren Einwilligung, Desinformation sowie sicherheitskritische Entscheidungen ohne menschliche Überprüfung.

Was noch zu prüfen bleibt

Die veröffentlichten Vergleichswerte (Physics-IQ Verified, PhyGround, RBench, menschliche Elo-Bewertung anhand von 140 Prompts durch 13 Tester) stammen allesamt vom IFM selbst. Auch die Zahlen zum Guardrail basieren auf internen Tests: Demnach sinke der Anteil schädlicher Eingaben, die zu einem bedenklichen Video führen, von 33,9 Prozent auf 1,5 Prozent, während zugleich 11,5 Prozent der legitimen Text-zu-Video-Anfragen fälschlicherweise blockiert würden.

Bezüglich der Schwachstellen zeigt sich das IFM offen: Bei etwa zwei von drei simulierten Plänen wird mindestens ein Teilschritt nicht korrekt ausgeführt; das Modell reagiert empfindlich auf Formulierungsnuancen; bei längeren Interaktionen weicht das visuelle Erscheinungsbild von Clip zu Clip ab; feinmotorische Handlungen (etwa das Berühren von Objekten mit einzelnen Fingern) lassen sich per Text nur schwer beschreiben; und Simulationen setzen sich bisweilen über physikalische Gesetze hinweg – etwa wenn Nudeln bereits im Sieb liegen, bevor sie überhaupt abgegossen wurden.