Mit PAN 2 hat das Institute of Foundation Models (IFM) der Mohamed bin Zayed University of Artificial Intelligence (MBZUAI) am 11. November 2026 ein offenes PAN 2 Weltmodell veröffentlicht. Die Idee: Man gibt dem Modell eine Ausgangsszene und eine Handlung in Worten, und PAN 2 simuliert als Video, was danach passiert – bis zu 20 Sekunden lang. Gewichte, Trainings- und Inferenzcode stehen unter der Apache-2.0-Lizenz. Das ist bei Weltmodellen dieser Größe selten. Die Benchmarks stammen allerdings überwiegend vom IFM selbst, und die Liste der dokumentierten Schwächen ist lang.
Was das PAN 2 Weltmodell können soll
Ein Sprachmodell sagt das nächste Wort voraus, ein Weltmodell den nächsten Zustand der Welt. So formuliert es das IFM im technischen Blog zu PAN 2. Ziel ist sogenanntes simulatives Schließen: Ein KI-Agent soll mögliche Handlungen erst in der Simulation durchspielen, die Ergebnisse vergleichen und dann die beste Option wählen – ohne teure, langsame oder nicht umkehrbare Versuche in der echten Welt. Das ist vor allem für Robotik interessant, wo jeder Fehlversuch Zeit, Material oder Hardware kostet.
Als Eingabe nimmt PAN 2 eine aktuelle Beobachtung – optional ein Bild plus Text – und eine in Text beschriebene Aktion samt Dauer. Ausgegeben wird ein Video der Folgen. Laut Modellkarte auf Hugging Face rendert das Modell in 704 × 1248 Pixeln bei 24 Bildern pro Sekunde, bis zu 481 Frames, also 20 Sekunden. Simulationen lassen sich aneinanderreihen: Das letzte Bild eines Clips wird zum Startbild des nächsten.
Architektur: Sprachmodell plus Videodiffusion
PAN 2 folgt der vom IFM entwickelten Architektur „Generative Latent Prediction“ (GLP) und teilt die Arbeit auf zwei Teile auf:
- Konzeptuelles Schließen: Ein vortrainiertes, großes Sprachmodell beschreibt den nächsten Weltzustand als strukturierten, zeitlich gegliederten Text – wer handelt wann, was passiert, wie sich die Kamera bewegt.
- Perzeptuelles Schließen: Ein 29,2 Milliarden Parameter großes Diffusionsmodell (MMDiT), das das IFM von Grund auf selbst trainiert hat, füllt die Details, die Sprache offenlässt: Kontakt, Verformung, Bewegung. Laut Modellkarte wurde es auf „hunderten Millionen“ Videos trainiert, die im selben Textformat annotiert sind.
Für Textkodierung und Bilddekodierung nutzt PAN 2 fremde Bausteine: Qwen3.5-9B als eingefrorenen Text-Encoder und den VAE von Wan 2.2. Bemerkenswert ist, dass das Sprachmodell für das konzeptuelle Schließen austauschbar ist. Das IFM hat in seinen Studien je nach Test unterschiedliche Modelle eingesetzt, laut Modellkarte standardmäßig Kimi K3, für einzelne Benchmarks auch Claude Opus 5.5 und GPT-6 Astra. Ergebnisse hängen damit nicht nur von PAN 2 selbst ab, sondern auch davon, welches Sprachmodell die Szenenbeschreibung schreibt.
Benchmarks: stark bei Plänen, aber selbst gemessen
Das IFM hat eigene Testfälle für sechs „Dimensionen physikalischer Intelligenz“ gebaut: physikalische Konsistenz, kausale Kohärenz, Persistenz von Objekten, Einhalten von Vorbedingungen, Unabhängigkeit vom Blickwinkel und Eigendynamik der Welt. Hinzu kommen 100 alltägliche Aufgaben mit mehreren Schritten (200 Prompts, 456 Einzelschritte). Bewertet werden die Videos von einem Vision-Language-Modell, das Ja/Nein-Fragen beantwortet; Kamerabewegungen werden über geschätzte Geometrie geprüft.
Die wichtigsten Herstellerangaben:
- PAN 2 schließt 75,1 Prozent der Einzelschritte und 34,0 Prozent der vollständigen Pläne ab. Das ist laut IFM die höchste Quote vollständiger Pläne unter den untersuchten Modellen.
- Bei Einzelaktionen über die sechs Dimensionen liegt PAN 2 laut Pressemitteilung knapp hinter MiniMax-H3 und vor den vier übrigen Vergleichsmodellen.
- Im öffentlichen Benchmark Physics-IQ Verified wäre PAN 2 in der Leaderboard-Einstellung Erster unter den offenen Modellen und Dritter insgesamt.
- In einem Blindvergleich mit 140 Prompts, 13 Bewertern und 1.400 Paarvergleichen landet PAN 2 auf Platz zwei unter vier offenen Modellen.
Verglichen wurde mit den offenen Modellen Cosmos 3 Super, LTX-2.5 und MiniMax-H3 sowie den geschlossenen FLUX 3 und Seedance 2.5. Die geschlossenen Modelle liefen laut IFM nur mit einem Durchgang. Unabhängige Messungen liegen bislang nicht vor; auch den Physics-IQ-Wert hat das IFM in eigenen Läufen ermittelt. Die Zahlen sind daher als Selbstauskunft zu lesen.
Die Schwächen stehen in der Modellkarte
Ungewöhnlich offen ist das IFM bei den Grenzen. Die Modellkarte nennt unter anderem:
- Lange Pläne scheitern oft: Etwa zwei von drei simulierten Plänen enthalten mindestens einen Schritt, der nicht ausgeführt wird. Wie gut PAN 2 Pläne simuliert, die scheitern sollten, ist noch nicht gemessen.
- Prompt-Empfindlichkeit: Die Ergebnisse hängen stark von der Formulierung ab; Beispiele außerhalb der Trainingsdaten und die Agenten-Fallstudien beruhten auf von Hand nachgeschärften Prompts.
- Drift über lange Zeit: Jeder Clip startet aus höchstens einem Bild plus Text, das Erscheinungsbild driftet über mehrere Clips. Eine Welt, die beim Erkunden konsistent bleibt, kündigt das IFM erst für einen späteren Beitrag an.
- Abkürzungen: Simulationen können physikalische Bedingungen verletzen, etwa Nudeln, die im Sieb liegen, bevor sie abgegossen wurden.
- Grobe Aktionen: Text eignet sich für „Schublade öffnen“, aber kaum für feinmotorische Details wie die Position einzelner Finger.
Dazu kommt ein Missbrauchsrisiko, das jedes realistische Videomodell mitbringt. Das IFM empfiehlt, PAN 2 hinter einem separaten Schutzfilter („pan2-guardrail“) zu betreiben, der Anfragen und erzeugte Videos prüft. In internen Tests senkte der Filter den Anteil schädlicher Text-zu-Video-Anfragen, die ein unsicheres Video liefern, von 33,9 auf 1,5 Prozent – blockierte aber auch 11,5 Prozent harmloser Text-zu-Video-Anfragen.
Ein Agent lernt etwas, das er nicht sehen kann
Das anschaulichste Beispiel im Blog: Eine Kugel liegt in einer Röhre mit zwei Kappen. Die blaue lässt sich abnehmen, die rote ist verklebt – das steht nur im Text für PAN 2, nicht im Bild und nicht in den Informationen für den Agenten. Ein auf Kimi K3 basierender Agent plant, PAN 2 simuliert, der Agent bewertet das Ergebnis. Erst im sechsten Versuch nimmt er die blaue Kappe, und die Kugel fällt heraus. Zwischendurch interpretiert der Agent eine Simulation falsch und glaubt, die rote Kappe sei ab. Das zeigt beides: das Potenzial des Ansatzes und wie fehleranfällig die Kette aus Sprachmodell, Simulation und Bewertung noch ist.
Für wen PAN 2 relevant ist
Für Endanwender ist PAN 2 kein Produkt. Es ist ein Forschungswerkzeug für Robotik, Agenten und physikalisches Schließen in Videos. Wer es selbst betreiben will, braucht ernsthafte Hardware: Laut GitHub-Repository hält jeder Inferenz-Worker das vollständige 29-Milliarden-Parameter-Diffusionsmodell pro GPU. Unterstützt werden Diffusers und vLLM. Die Apache-2.0-Lizenz gilt für den eigenen Code und die eigenen Gewichte; Wan 2.2 und Qwen3.5-9B unterliegen ihren eigenen Lizenzen.
Interessant ist PAN 2 vor allem als offene Referenz. Weltmodelle werden in der Robotik zunehmend wichtig, die stärksten Systeme sind oft geschlossen. Mit vollem Trainingscode lässt sich nachprüfen, was ein solches Modell kann und wo es scheitert. Zum Vergleich mit klassischen Sprach- und Bildmodellen lohnt ein Blick auf unsere Beiträge zu Metas Muse Ember und zum Bildmodell Seedream 5.5. Wie Hersteller ihre eigenen Benchmarks präsentieren, haben wir zuletzt bei Claude Fable 5.2 eingeordnet.
