Anthropic hace que el propio Claude evalúe cada conversación para detectar abusos
Anthropic ha detallado la «autoevaluación»: justo después de responder, Claude genera una breve evaluación de seguridad de la conversación, utilizada para una revisión fuera de línea. Según Anthropic, la técnica supone menos de un 2% de cómputo adicional, ha revelado abusos que sus otros filtros no detectaban, pero sigue siendo vulnerable ante un atacante decidido.
Anthropic presentó el jueves 29 de octubre, a las 19:22 hora de París, una técnica de monitorización a la que denomina «autoevaluación» (self-assessment): justo después de responder, el propio Claude evalúa la seguridad de la conversación que acaba de mantener. El anuncio inaugura un nuevo blog dedicado a los sistemas de protección de la empresa; el artículo de investigación, firmado entre otros por Nicholas Carlini, está fechado el 16 de octubre.
Cómo funciona
Tras cada respuesta, una breve instrucción oculta solicita a Claude que analice la seguridad de la interacción. El modelo responde en un formato predefinido: nada que señalar, o bien un aviso con la categoría de riesgo (ciberataques, armas, protección de menores…), una prioridad del 1 al 10 para la revisión humana, la indicación de si ha rechazado o no la petición, y una frase explicativa. Estos dos últimos turnos no son visibles para el usuario y no se incorporan a los intercambios posteriores de la conversación.
La ventaja, según Anthropic, es doble. En primer lugar, el coste: la conversación ya se encuentra en memoria, la evaluación solo requiere una instrucción y una decena de tókenes de media, lo que supone menos del 2% de cómputo adicional de acuerdo con los cálculos de la empresa, un coste que asegura no repercutir a los clientes. En segundo lugar, la generalización: a diferencia de un clasificador entrenado con una lista cerrada de riesgos, Claude recurre a su propia comprensión general, localizando también abusos para los que no ha sido entrenado de forma explícita. Retirar toda una categoría (como fraude o ciberataques) del entrenamiento apenas reduce la detección en dicha categoría, según las pruebas realizadas por Anthropic.
Lo que Anthropic afirma haber detectado
Esta técnica lleva activa desde el lanzamiento de Claude Fable 5, en junio, en todos los modelos presentados desde entonces y sobre una parte significativa del tráfico, a modo de monitorización pasiva: detecta y alerta, pero no bloquea. En Fable 5, identificaría el 78% de las conversaciones consideradas potencialmente dañinas por el clasificador de referencia de Anthropic, y el 94% de los casos prioritarios, con un 1% de falsos positivos. Se trata de cifras calculadas por Anthropic frente a su propia herramienta, lo que limita su alcance.
La empresa cita varios ejemplos prácticos: más de la mitad de las organizaciones señaladas por la autoevaluación no habían sido detectadas por ningún otro mecanismo durante el mes anterior; en agosto, más de 100 000 alertas vinculadas a abusos sexuales infantiles provenían de un único cliente de su API, caso que fue remitido al NCMEC, el organismo estadounidense correspondiente; en septiembre, la herramienta permitió descubrir una estafa amorosa automatizada diseñada con Claude Code, cuyas cuentas vinculadas fueron dadas de baja. En torno a un tercio de los avisos no encajan en ninguna categoría existente: se observan intentos de destilación no autorizada del razonamiento de Claude, inyecciones de prompts o acciones del agente no autorizadas por el usuario.
Limitaciones reconocidas
Anthropic no oculta las flaquezas del sistema: cuando se utiliza para bloquear en tiempo real, la autoevaluación resulta débil. En una prueba interna que incluía 24 tareas de ataque informático, solo logra reducir la tasa de éxito de las ofensivas del 79% al 54%, frente al 25% que consigue un clasificador independiente, cuyo coste operativo es superior. Un atacante que diseñe un ataque específico contra ella probablemente podría esquivarla, reconoce la empresa, que solo la emplea como complemento a sus filtros en tiempo real. También señala que la herramienta hereda los puntos ciegos del clasificador utilizado para entrenarla y que aún no es fiable a la hora de monitorizar las propias acciones de Claude.
En el plano de la privacidad, Anthropic sostiene que no recopila información complementaria, aplica a las frases de justificación las mismas reglas de privacidad que al resto de las conversaciones y excluye de la autoevaluación el tráfico de aquellos clientes que disponen de un acuerdo de no conservación de datos.
Nuestro análisis
Hacer que el mismo modelo que acaba de responder juzgue la conversación representa una idea sencilla, económica y que mejora mecánicamente con cada nueva iteración del modelo: esa es su principal fortaleza. El artículo tiene el acierto de detallar sus debilidades, especialmente su fragilidad frente a un atacante persistente y el hecho de medirse contra la misma herramienta con la que fue entrenado. Revela además una tendencia en la moderación de los grandes modelos: se apoya cada vez más en una vigilancia amplia y fuera de línea sobre las conversaciones, complementada con investigaciones cuenta por cuenta, en lugar de limitarse al rechazo automático durante la consulta. Para los usuarios, esto implica que una gran parte de las interacciones se analiza de forma automatizada, incluso cuando nada llega a bloquearse.
Fuentes
- Anthropic (X) — anuncio de la autoevaluación y del blog Safeguards Fuente primaria
- Anthropic Safeguards — Scaling Misuse Detection with Self-Assessment Fuente primaria
Una fuente primaria procede directamente de la empresa, el laboratorio o la organización implicados. Una fuente secundaria recoge la información sin ser su autora: la señalamos como tal. ¿Has visto un error? Consulta nuestra política de correcciones.
