Anthropic faz o próprio Claude avaliar cada conversa para identificar abusos

A Anthropic apresentou na quinta-feira, 29 de outubro, às 19h22, horário de Paris, uma técnica de monitoramento batizada de “autoavaliação” (self-assessment): logo após responder, o Claude avalia a segurança da própria conversa que acabou de manter. O anúncio inaugura um novo blog dedicado aos mecanismos de segurança da empresa; o artigo científico, assinado principalmente por Nicholas Carlini, é datado de 16 de outubro.

Como funciona

Depois de cada resposta, uma curta instrução oculta solicita que o Claude avalie a segurança daquela interação. O modelo responde em um formato padronizado: nada a sinalizar ou um alerta contendo a categoria de risco (ciberataques, armas, proteção infantil etc.), uma prioridade de 1 a 10 para revisão humana, a informação sobre ter havido recusa ou não e uma frase de justificativa. Essas duas últimas etapas não são visíveis para o usuário e não entram no contexto restante da conversa.

O atrativo, segundo a Anthropic, é duplo. O primeiro ponto é o custo: como a conversa já se encontra carregada na memória, a avaliação exige apenas uma instrução e cerca de dez tokens em média — o equivalente a menos de 2% de processamento extra, conforme estimativas da empresa, que afirma não repassar esse custo aos clientes. O segundo ponto é a generalização: diferentemente de um classificador treinado com uma lista restrita de ameaças, o Claude utiliza sua própria compreensão de contexto e consegue flagrar abusos para os quais não foi explicitamente treinado. Retirar uma categoria inteira (como fraudes ou ciberataques) do treinamento quase não reduz a capacidade de detecção dessa área, segundo testes da Anthropic.

O que a Anthropic afirma ter encontrado

A tecnologia está em operação desde o lançamento do Claude Fable 5, em junho, cobrindo todos os modelos lançados desde então e grande fatia do tráfego em formato de monitoramento passivo: ela apenas sinaliza, sem realizar bloqueios. No Fable 5, a solução identificaria 78% das conversas classificadas como potencialmente nocivas pelo classificador de referência da própria Anthropic e 94% dos casos prioritários, registrando 1% de falsos positivos. Tais métricas foram aferidas pela desenvolvedora contra sua própria ferramenta interna, o que limita seu alcance comparativo.

A companhia lista resultados práticos: mais da metade das organizações sinalizadas pela autoavaliação não havia sido identificada por nenhum outro filtro no mês anterior; em agosto, mais de 100.000 alertas sobre exploração sexual infantil partiram de uma única conta de API e foram encaminhados ao NCMEC, autoridade competente nos Estados Unidos; em setembro, o sistema revelou um golpe sentimental automatizado criado via Claude Code, cujas contas foram banidas. Cerca de um terço das ocorrências não se encaixa em categorias conhecidas: incluem tentativas de destilação ilegal do raciocínio do Claude, injeções de prompt ou ações autônomas de agentes não autorizadas pelo próprio usuário.

Limitações assumidas

A Anthropic deixa clara uma fraqueza: quando usada para bloqueio em tempo real, a autoavaliação se mostra frágil. Em teste interno com 24 tarefas de ataque cibernético, a técnica reduziu o índice de sucesso das investidas de 79% para 54%, enquanto um classificador dedicado e mais oneroso derrubou o índice para 25%. Um invasor focado diretamente nessa barreira provavelmente conseguiria contorná-la, assume a desenvolvedora, que mantém o recurso apenas como complemento aos filtros convencionais em tempo real. A empresa também pontua que a solução herda os pontos cegos do classificador base utilizado em seu treinamento e ainda não é confiável para auditar as próprias ações autônomas do Claude.

No que diz respeito à privacidade, a Anthropic assegura que não levanta nenhum dado extra, submete a frase de justificativa às mesmas regras de privacidade das conversas e desativa a autoavaliação no tráfego de clientes com cláusula de retenção zero de dados.