OpenAI déploie Control Room, un système central pour couper la production de ses modèles de recherche en 35 secondes

Que faire si un modèle en cours d’entraînement commence à faire quelque chose qu’il ne devrait pas ? OpenAI a présenté le 9 novembre Control Room, un service central qui recense toutes les tâches de recherche faisant appel à ses modèles et peut couper leur production en 35 secondes au plus après une décision d’arrêt. Le système est déjà déployé dans l’infrastructure de recherche de l’entreprise.

Un bouton d’arrêt placé dans l’inférence

Le principe tient en trois pièces. La tâche (une expérience d’apprentissage par renforcement, une évaluation, un gros traitement de données) demande au démarrage un identifiant à Control Room ; si elle fait de l’inférence agentique, elle doit être rattachée à un dossier de sûreté approuvé. Le moteur d’inférence, qui fait tourner le modèle sur les GPU, vérifie auprès de Control Room, avant chaque requête, que cette tâche est toujours autorisée. Enfin le service Control Room tient le registre des tâches actives et arrêtées.

Quand une personne ou un système de surveillance ordonne l’arrêt, Control Room marque la tâche comme stoppée. La requête suivante est refusée par le moteur : le programme de recherche peut continuer à tourner, mais il ne reçoit plus aucune sortie de modèle, quel que soit le moteur ou le modèle qu’il sollicite.

OpenAI justifie ce choix d’architecture : le code des expériences change sans cesse et appartient à des équipes de chercheurs, ce n’est donc pas un bon endroit pour une protection critique. À l’inverse, il n’existe qu’un très petit nombre de chemins de code d’inférence dans toute la recherche d’OpenAI. En plaçant le verrou à cet endroit, l’entreprise dit obtenir une garantie que toute inférence de recherche passe par un contrôle, et elle fait tourner en continu des vérifications pour repérer des moteurs lancés sans Control Room.

35 secondes, et une mise en sécurité par défaut

Le délai de 35 secondes vient d’une couche de cache des autorisations, nécessaire pour absorber le volume de requêtes ; OpenAI dit travailler à le ramener à zéro. Ce chiffre ne compte que le temps entre l’ordre d’arrêt et la coupure effective, pas le temps de détecter le problème.

Le système est conçu pour échouer fermé : si Control Room tombe, par erreur, désactivation ou sabotage, les moteurs refusent toutes les requêtes jusqu’au retour du service. Ce mode est actif pour toutes les tâches de recherche sur les modèles de pointe, et doit être étendu au reste de la recherche dans les jours qui suivent. OpenAI rappelle aussi que toutes ses tâches d’apprentissage par renforcement de pointe sont accompagnées d’un moniteur, un autre modèle qui observe le modèle entraîné et peut lui-même demander l’arrêt.

Control Room ne concerne pas les modèles servis au public (ChatGPT, API) : selon OpenAI, cette infrastructure est déjà centralisée et dispose de ses propres moyens de retrait rapide.