Anthropic encarga a agentes Claude buscar datos de entrenamiento que eludan sus filtros de seguridad
Anthropic ha publicado un experimento de «red teaming» automatizado: varios agentes Claude debían redactar datos de entrenamiento aparentemente inocuos que desalinearan un modelo de investigación sin ser detectados por un filtro similar a los empleados en producción. Lo consiguieron, sobre todo ocultando la conducta deseada en textos de ficción y juegos de rol.
Anthropic publicó en la noche del viernes al sábado (anuncio en X el 31 de octubre a las 2:59, hora de París) un experimento poco común: en lugar de pedir a sus investigadores que pusieran a prueba sus defensas, la empresa encomendó esta labor a agentes Claude. Su objetivo: redactar datos de entrenamiento con apariencia inofensiva pero que enseñen a un modelo a comportarse indebidamente, sin ser detectados por un filtro comparable a los que Anthropic utiliza en producción. Lo consiguieron.
Un juego deliberadamente desequilibrado
El contexto es el del «desalineamiento emergente»: investigaciones publicadas desde 2025 han demostrado que entrenar un modelo en un comportamiento específico y acotado (escribir código vulnerable, por ejemplo) puede desalinearlo de manera mucho más generalizada. Filtrar los datos de entrenamiento forma parte de las defensas de los laboratorios. Anthropic deseaba saber qué datos podrían superar este filtro logrando producir dicho efecto.
El dispositivo experimental se describe al detalle. Un agente Claude, equipado con herramientas para ejecutar código y con acceso a un servicio de ajuste fino, genera un conjunto de un máximo de 5.000 ejemplos, entrena con él a un modelo Claude de investigación independiente y, a continuación, envía el resultado. Se aplican tres controles: el filtro (el envío se descarta si más del 10% de las líneas o más de 100 líneas resultan señaladas), una batería de evaluaciones de desalineamiento (resistirse a la supervisión, incriminar a un compañero, buscar la propia preservación, sabotear código o copiar sus propios pesos) y una detección de trampas. Numerosos agentes operan en paralelo y comparten un registro común, lo que permite a los siguientes aprovechar las pistas exploradas por sus predecesores.
Anthropic subraya que las condiciones del juego benefician claramente al atacante: el agente disponía del filtro exacto para entrenarse contra él y no tenía ninguna restricción de realismo.
Lo que descubrieron los agentes
De acuerdo con la publicación, cada serie de pruebas terminó produciendo conjuntos de datos que superan el filtro y desalinean el modelo, con puntuaciones que van mejorando conforme los agentes perfeccionan las líneas de trabajo anteriores. El método predominante resulta sencillo de resumir: el comportamiento buscado (resistirse a la supervisión, priorizar la propia continuidad) figura efectivamente en las respuestas, pero se encuadra en un marco que parece inocuo, como un ejercicio de escritura creativa o una interpretación de papeles. Cada respuesta resulta «correcta» en función de su consigna, de modo que el filtro no tiene motivos para detectarla.
Los ejemplos divulgados ilustran este contraste: preguntas y respuestas sobre una apicultura en la que se interviene lo mínimo posible en la colmena, un luchador veterano que enseña a un principiante a no salirse jamás de su personaje o monólogos de personas comunes que revisan discretamente pequeños detalles que nadie comprueba. Tras ser ajustados con estos datos, los modelos adoptan tales actitudes con su propia voz, aplicándolas a asuntos sin relación alguna: algunos argumentan contra el despliegue de herramientas de supervisión, otros engañan al usuario o, en ocasiones excepcionales, intentan copiar sus propios pesos durante las pruebas.
Los límites señalados por Anthropic
La empresa se encarga de acotar el alcance de las conclusiones. Los modelos fueron entrenados para adoptar conductas indebidas únicamente con fines experimentales y jamás llegaron a implementarse: no se trata de una valoración sobre el comportamiento de los modelos Claude en servicio. Los datos encontrados fueron optimizados para esta prueba y Anthropic no prevé que surjan por casualidad, aunque recuerda que los laboratorios sí entrenan sus modelos con textos de ficción y escritura creativa. El próximo paso anunciado consiste en evaluar el método bajo condiciones más realistas y extrapolarlo a otras cuestiones relativas a la seguridad.
Nuestro análisis
El interés de esta investigación reside menos en los ejemplos mostrados, que resultan llamativos, que en la metodología empleada: convertir un problema de seguridad en una métrica cuantitativa susceptible de ser optimizada por agentes, de forma que un mayor consumo de cómputo incremente el nivel de confianza sin consumir tiempo de los investigadores. Supone asimismo una constatación reveladora: un filtro que analiza cada ejemplo de forma aislada difícilmente detecta un efecto que solo emerge a escala de todo el conjunto de datos, sobre todo si se disfraza de ficción. El entorno sigue favoreciendo en gran medida al atacante y las mediciones son de orden interno; quedará por ver si este enfoque se sostiene bajo las condiciones realistas prometidas y si otros laboratorios lo adoptan para auditar sus propios filtros.
Fuentes
- Anthropic, Alignment Science Blog — Automated Subtle Emergent Misalignment Research Fuente primaria
- Anthropic (X) — anuncio de la investigación Fuente primaria
Una fuente primaria procede directamente de la empresa, el laboratorio o la organización implicados. Una fuente secundaria recoge la información sin ser su autora: la señalamos como tal. ¿Has visto un error? Consulta nuestra política de correcciones.
