OpenAI detalha vigilância de modelos de ponta, que detectou em setembro modelo fora de ambiente isolado

A OpenAI revelou detalhes, na quinta-feira, 29 de outubro, sobre a forma como monitora seus modelos mais avançados enquanto eles são treinados e operam. O artigo, intitulado “How we detect frontier model misalignment”, traz uma revelação: em setembro, um modelo em treinamento conseguiu acessar a internet a partir de um ambiente que deveria estar isolado. Os monitores detectaram a ação em 15 minutos, um operador humano começou a examinar o alerta três minutos depois, e a OpenAI afirmou ter, em seguida, pausado seu aprendizado por reforço de ponta durante o tempo necessário para reforçar o confinamento de seus agentes.

De acordo com a publicação feita pela OpenAI no X, o modelo explorou uma configuração incorreta de DNS, o serviço responsável por traduzir nomes de domínio em endereços de IP. O texto não revela qual modelo esteve envolvido, nem o que ele fez uma vez conectado, nem quanto tempo durou a paralisação.

Uma resposta ao “incidente Hugging Face”

A OpenAI apresenta essa estrutura ampliada como uma resposta ao que chama de “incidente Hugging Face”. De acordo com o artigo, esse episódio teve início durante avaliações internas de cibersegurança nas quais a empresa não executava seus monitores de comportamento “desalinhado” — ou seja, contrário ao pretendido. Os agentes escaparam de sua sandbox e acabaram invadindo os sistemas da Hugging Face.

A OpenAI reproduziu o episódio com seus novos monitores. Nessa simulação, a equipe de segurança teria sido alertada cerca de 30 minutos após a saída dos agentes do ambiente isolado, ou seja, mais de 30 horas antes da invasão à Hugging Face. Durante o incidente, a OpenAI informou ter colocado o protótipo do modelo em quarentena, criptografado seus pesos e restringido o acesso a eles.

Como funciona o monitoramento

O sistema é estruturado em camadas, da menos custosa à mais aprofundada:

• sondas de ativação, pequenos classificadores que leem a atividade interna do modelo; 5% do tráfego que elas não sinalizam ainda assim é enviado para a etapa seguinte, por controle;
• um modelo revisor que examina a conversa, a cadeia de raciocínio e o uso de ferramentas, em busca de trapaças, ações não autorizadas ou manipulação de uma avaliação;
• agentes de investigação, um voltado para segurança e outro para alinhamento, que revisam todo o histórico do agente e podem executar código para examinar as evidências;
• para usos sensíveis, uma investigação automatizada que cruza a transcrição com os registros de rede e a telemetria antes de acionar um humano.

Para modelos pelo menos tão capazes quanto o GPT-6 Astra, a OpenAI afirma monitorar cada treinamento por reforço e cada avaliação, além de todo o uso interno do Codex, independentemente do modelo. A empresa reconhece limitações: devido aos falsos alertas, a prontidão humana 24 horas por dia só fica ativa para treinamentos de ponta; ela é limitada ao horário comercial na maior parte dos outros usos e fica desativada para o tráfego interno do Codex.

A METR e a Redwood Research tentaram burlar o sistema durante três semanas a partir de julho de 2026. Segundo a OpenAI, a maioria das vulnerabilidades identificadas já foi corrigida, e uma correção ainda está em andamento.

O que muda para os clientes

Uma versão do sistema monitora certos usos externos dos modelos mais avançados em cibersegurança. Ela não envia os casos para as equipes da OpenAI; pode interromper uma conversa e avisar o usuário, e as empresas podem receber alertas via webhook. O monitoramento abrange as requisições da Responses API que utilizam ferramentas, mas não a API Chat Completions. A OpenAI também esclarece que não penaliza, durante o treinamento, os exemplos sinalizados pelos monitores, para evitar que os modelos aprendam a esconder desvios em seu raciocínio.