PAN 2: o modelo de mundo aberto do IFM simula em vídeo as consequências de uma ação antes que um agente atue

O Institute of Foundation Models (IFM), laboratório de modelos de fundação da universidade emiradense MBZUAI, apresentou em 10 de novembro de 2026 o PAN 2, um modelo de mundo aberto. Seu princípio se resume em uma fórmula do IFM: um modelo de linguagem prevê a próxima palavra, o PAN 2 prevê “o próximo mundo”. A partir de uma imagem e de ações descritas em texto, ele gera um vídeo de até 20 segundos do que aconteceria em seguida. O código e os pesos foram disponibilizados sob licença Apache 2.0.

Dois estágios: o roteiro e, depois, a imagem

O PAN 2 retoma a arquitetura do primeiro PAN, descrito pelo IFM em um relatório técnico em novembro de 2025, dividindo-a em dois estágios. Um modelo de linguagem, que o IFM chama de “raciocínio conceitual”, lê a observação inicial e as ações solicitadas para então redigir o próximo estado do mundo em forma de descrição estruturada: quem faz o quê, em que momento e como a câmera se move. Um modelo de difusão de 29 bilhões de parâmetros, treinado do zero em centenas de milhões de vídeos anotados nesse mesmo formato, encarrega-se do “raciocínio perceptivo”: ele preenche o que o texto deixa em aberto (geometria, materiais, detalhes do movimento). Em seguida, o decodificador do VAE do Wan 2.2 transforma o resultado em um vídeo de 704 × 1248 pixels a 24 quadros por segundo.

Essa divisão traz uma consequência prática: qualquer modelo de linguagem que siga bem instruções pode atuar como primeiro estágio. A documentação cita aqueles testados no relatório, classificados de acordo com a taxa de planos concluídos: Claude Opus 5.5, GPT-6 Astra, Kimi K3 e Qwen 3.8 Flash. O IFM também fornece uma “habilidade” para agentes de código e um script local para reescrever uma solicitação livre no formato esperado.

A página de apresentação enfatiza três aspectos: o tempo (alterar o momento de uma ação muda o desfecho, como um surfista que se levanta cedo demais ou tarde demais na onda), a física (leite, tinta e óleo despejados na água não se comportam da mesma forma) e o espaço (uma sala permanece idêntica quando a câmera faz um giro completo).

O que é necessário para executá-lo

Apenas o modelo de difusão é publicado pelo IFM; o codificador de texto (Qwen3.5-9B) e o VAE (Wan 2.2) devem ser baixados de seus próprios repositórios, sob suas respectivas licenças. Cada processo de geração carrega a totalidade do modelo de 29 bilhões de parâmetros em uma GPU, em BF16: trata-se de placas para data centers, e não de hardware de consumo. A documentação anuncia compatibilidade com o Diffusers e o vLLM, além do script fornecido pelo IFM.

O IFM recomenda fortemente seu uso com uma barreira de segurança distribuída separadamente, o pan2-guardrail, que filtra a solicitação antes da geração e, em seguida, o vídeo produzido. As diretrizes proíbem expressamente deepfakes de pessoas reais sem consentimento, desinformação e decisões críticas para a segurança sem validação humana.

O que ainda precisa ser verificado

As comparações publicadas (Physics-IQ Verified, PhyGround, RBench, preferência humana em Elo com 140 prompts e 13 avaliadores) foram todas produzidas pelo IFM. Os números da barreira de segurança também vêm de testes internos: ela reduziria de 33,9% para 1,5% a parcela de solicitações prejudiciais que resultam em um vídeo problemático, mas bloquearia 11,5% das solicitações legítimas de texto para vídeo.

O IFM é transparente quanto às limitações: cerca de dois em cada três planos simulados contêm pelo menos uma etapa que não se concretiza; o modelo é sensível à formulação; a aparência visual sofre desvios de um clipe para outro em interações longas; gestos refinados (em que cada dedo toca um objeto) continuam sendo mal descritos por texto; e uma simulação pode avançar trapaceando com a física, como uma massa que surge no escorredor antes mesmo de a água ser escorrida.