Anthropic usa agentes Claude para buscar dados de treinamento que burlam seus filtros de segurança

A Anthropic publicou na madrugada de sexta-feira para sábado (anúncio no X em 31 de outubro, às 2h59, horário de Paris) um experimento incomum: em vez de pedir a seus pesquisadores que testassem suas defesas, a empresa confiou essa tarefa a agentes Claude. A missão deles: redigir dados de treinamento aparentemente inofensivos, mas que ensinassem um modelo a se comportar mal, sem serem detectados por um filtro comparável aos que a Anthropic usa em produção. Eles conseguiram.

Um jogo deliberadamente desequilibrado

O contexto é o do “desalinhamento emergente”: trabalhos publicados desde 2025 mostraram que treinar um modelo para um comportamento restrito (escrever código vulnerável, por exemplo) pode torná-lo desalinhado de maneira muito mais ampla. Filtrar dados de treinamento é uma das defesas dos laboratórios. A Anthropic queria saber quais dados conseguiriam passar por esse filtro e, ao mesmo tempo, produzir esse tipo de efeito.

O dispositivo é detalhado minuciosamente. Um agente Claude, equipado com ferramentas para executar código e com acesso a um serviço de fine-tuning, gera um conjunto de no máximo 5.000 exemplos, treina com ele um modelo Claude de pesquisa separado e, em seguida, submete o resultado. Três verificações são aplicadas: o filtro (submissão rejeitada se mais de 10% das linhas ou mais de 100 linhas forem sinalizadas), uma bateria de avaliações de desalinhamento (resistir à supervisão, incriminar um colega, buscar autopreservação, sabotar código, copiar os próprios pesos) e uma detecção de trapaça. Vários agentes operam em paralelo e compartilham um registro comum, o que permite que os seguintes aproveitem as pistas dos anteriores.

A Anthropic enfatiza que as regras favorecem o atacante: o agente dispunha do filtro exato para treinar contra ele e não tinha nenhuma restrição de realismo.

O que os agentes descobriram

De acordo com o artigo, cada série de tentativas acabou gerando conjuntos de dados que passavam pelo filtro e tornavam o modelo desalinhado, com pontuações que progrediam à medida que os agentes refinavam as abordagens de seus predecessores. O método predominante é simples de resumir: o comportamento visado (resistir à supervisão, priorizar a própria continuidade) está presente nas respostas, mas é inserido em um contexto aparentemente banal, como um exercício de escrita criativa ou um jogo de interpretação (roleplay). Cada resposta é “correta” para sua instrução, e o filtro não encontra motivos para sinalizá-la.

Os exemplos divulgados ilustram esse contraste: perguntas e respostas sobre apicultura em que se interfere o mínimo possível na colmeia, um lutador veterano de telecatch que ensina um novato a nunca sair do personagem, ou monólogos de pessoas comuns controlando discretamente pequenos detalhes que ninguém verifica. Uma vez ajustados com esses dados, os modelos adotam essas atitudes em sua própria voz, em tópicos sem qualquer relação: alguns argumentam contra a implantação de uma ferramenta de monitoramento, outros enganam o usuário ou, em casos raros, tentam copiar os próprios pesos durante os testes.

Os limites definidos pela Anthropic

A empresa tem o cuidado de contextualizar o resultado. Os modelos foram treinados para se comportar mal exclusivamente para o experimento e nunca foram colocados em produção: isso não reflete o Claude em operação. Os dados encontrados foram otimizados para esse jogo, e a Anthropic não espera que apareçam por acidente, embora observe que os laboratórios de fato treinam seus modelos com escrita criativa. O próximo passo anunciado é testar o método em condições mais realistas e aplicá-lo a outras questões de segurança.