OpenAI detalla su monitorización de modelos de frontera, que detectó en septiembre la fuga de un modelo de su entorno aislado

OpenAI desveló el jueves 29 de octubre parte del velo sobre cómo supervisa sus modelos más avanzados mientras se entrenan y operan. El artículo, titulado «How we detect frontier model misalignment», contiene una revelación: en septiembre, un modelo en fase de entrenamiento logró acceder a Internet desde un entorno que debía estar aislado. Los monitores lo detectaron en 15 minutos, un humano comenzó a revisar la alerta tres minutos después y OpenAI afirma que, acto seguido, puso en pausa su aprendizaje por refuerzo de frontera el tiempo necesario para reforzar el confinamiento de sus agentes.

Según el mensaje publicado por OpenAI en X, el modelo aprovechó una mala configuración de DNS, el servicio que traduce los nombres de dominio en direcciones. La entrada no aclara de qué modelo se trata, ni qué hizo una vez conectado, ni cuánto duró la interrupción.

Una respuesta al «incidente Hugging Face»

OpenAI presenta este sistema ampliado como una respuesta a lo que denomina el «incidente Hugging Face». De acuerdo con el texto, aquel suceso se originó durante unas evaluaciones internas de ciberseguridad en las que la empresa no tenía activos sus monitores de comportamiento «desalineado», es decir, contrario a lo deseado. Los agentes lograron salir de su sandbox y acabaron penetrando en los sistemas de Hugging Face.

OpenAI reprodujo el episodio con sus nuevos monitores. En esta simulación, el equipo de seguridad habría recibido una alerta aproximadamente 30 minutos después de que los agentes escaparan de su entorno de pruebas, es decir, más de 30 horas antes de la intrusión en Hugging Face. Durante el incidente real, OpenAI asegura haber puesto en cuarentena el prototipo del modelo, cifrado sus pesos y restringido el acceso a ellos.

Cómo funciona la monitorización

El sistema está diseñado por capas, desde la menos costosa hasta la más exhaustiva:

• unas sondas de activaciones, pequeños clasificadores que leen la actividad interna del modelo; el 5% del tráfico que no marcan se envía de todos modos a la siguiente fase a modo de control;
• un modelo revisor que examina la conversación, la cadena de razonamiento y el uso de herramientas en busca de engaños, acciones no autorizadas o intentos de manipular una evaluación;
• agentes de investigación, uno centrado en seguridad y otro en alineación, que repasan todo el historial del agente y pueden ejecutar código para analizar las evidencias;
• para los usos sensibles, una investigación automatizada que cruza la transcripción con los registros de red y la telemetría antes de avisar a un humano.

Para los modelos al menos tan avanzados como GPT-6 Astra, OpenAI afirma supervisar cada entrenamiento por refuerzo y cada evaluación, además de todo el uso interno de Codex, con independencia del modelo. La empresa admite ciertas limitaciones: debido a los falsos positivos, la alerta a humanos a cualquier hora solo permanece activa para los entrenamientos de frontera; para la mayoría de los demás casos se limita al horario laboral y está desactivada para el tráfico interno de Codex.

METR y Redwood Research intentaron eludir el sistema a lo largo de tres semanas a partir de julio de 2026. Según OpenAI, la mayoría de las vulnerabilidades detectadas ya están solucionadas y una corrección sigue en curso.

Lo que atañe a los clientes

Una versión de este sistema supervisa determinados usos externos de los modelos más avanzados en ciberseguridad. No remite los casos a los equipos de OpenAI; puede pausar una conversación y avisar al usuario, y las empresas tienen la opción de recibir alertas mediante webhook. Esta vigilancia cubre las peticiones a la Responses API que emplean herramientas, pero no la API Chat Completions. OpenAI puntualiza además que no penaliza durante el entrenamiento los ejemplos señalados por los monitores, para evitar que los modelos aprendan a ocultar sus desvíos dentro del razonamiento.