OpenAI lança Control Room, sistema central para interromper a produção de seus modelos de pesquisa em 35 segundos

O que fazer se um modelo em fase de treinamento começar a fazer algo que não deveria? Em 9 de novembro, a OpenAI apresentou o Control Room, um serviço central que lista todas as tarefas de pesquisa que utilizam seus modelos e pode cortar sua produção em no máximo 35 segundos após uma decisão de parada. O sistema já está em operação na infraestrutura de pesquisa da empresa.

Um botão de desligamento na camada de inferência

O princípio se apoia em três partes. A tarefa (um experimento de aprendizado por reforço, uma avaliação, um grande processamento de dados) solicita na inicialização um identificador ao Control Room; se realizar inferência de agentes, deve ser vinculada a um caso de segurança aprovado. O motor de inferência, que roda o modelo nas GPUs, verifica com o Control Room, antes de cada requisição, se essa tarefa ainda está autorizada. Por fim, o serviço Control Room mantém o registro das tarefas ativas e paradas.

Quando uma pessoa ou um sistema de monitoramento determina a interrupção, o Control Room marca a tarefa como interrompida. A requisição seguinte é recusada pelo motor: o programa de pesquisa pode continuar em execução, mas não recebe mais nenhuma saída de modelo, qualquer que seja o motor ou o modelo solicitado.

A OpenAI justifica essa escolha de arquitetura: o código dos experimentos muda constantemente e pertence a equipes de pesquisadores, não sendo, portanto, um bom local para uma proteção crítica. Por outro lado, há um número muito pequeno de caminhos de código de inferência em toda a pesquisa da OpenAI. Ao colocar a trava nesse ponto, a empresa afirma garantir que toda inferência de pesquisa passe por um controle, além de rodar verificações contínuas para identificar motores iniciados sem o Control Room.

35 segundos e modo de segurança padrão

O atraso de 35 segundos decorre de uma camada de cache de autorizações, necessária para suportar o volume de requisições; a OpenAI afirma trabalhar para reduzir essa latência a zero. Esse número contabiliza apenas o tempo entre a ordem de parada e o corte efetivo, e não o tempo necessário para detectar o problema.

O sistema foi projetado para falhar fechado: se o Control Room cair, seja por erro, desativação ou sabotagem, os motores recusam todas as requisições até o retorno do serviço. Esse modo já funciona para todas as tarefas de pesquisa com modelos de ponta e deve ser expandido para o restante da pesquisa nos dias seguintes. A OpenAI também lembra que todas as suas tarefas de aprendizado por reforço de ponta são acompanhadas por um monitor, outro modelo que observa o modelo em treinamento e pode, ele próprio, solicitar a paralisação.

O Control Room não se aplica aos modelos disponibilizados ao público (ChatGPT, API): segundo a OpenAI, essa infraestrutura já é centralizada e conta com métodos próprios de remoção rápida.