Anthropic affida ad agenti Claude la ricerca di dati di addestramento che eludono i suoi filtri di sicurezza

Anthropic ha pubblicato nella notte tra venerdì e sabato (annuncio su X il 31 ottobre alle 2:59, ora di Parigi) un esperimento insolito: anziché chiedere ai propri ricercatori di mettere alla prova le sue difese, l’azienda ha affidato questo compito ad agenti Claude. La loro missione: scrivere dati di addestramento all’apparenza innocui, ma capaci di insegnare a un modello a comportarsi male, senza farsi rilevare da un filtro paragonabile a quelli che Anthropic impiega in produzione. Ci sono riusciti.

Un gioco volutamente sbilanciato

Il contesto è quello del «disallineamento emergente»: studi pubblicati a partire dal 2025 hanno mostrato che addestrare un modello su un comportamento circoscritto (scrivere codice vulnerabile, ad esempio) può renderlo disallineato in modo molto più ampio. Filtrare i dati di addestramento rientra tra le difese adottate dai laboratori. Anthropic voleva scoprire quali dati potessero superare questo filtro pur producendo tale effetto.

Il dispositivo sperimentale è descritto nei dettagli. Un agente Claude, dotato di strumenti per eseguire codice e dell’accesso a un servizio di fine-tuning, produce un set di al massimo 5.000 esempi, vi addestra sopra un modello Claude di ricerca separato e poi invia il risultato. Vengono applicati tre controlli: il filtro (proposta respinta se più del 10% delle righe o più di 100 righe vengono segnalate), una batteria di valutazioni del disallineamento (resistere alla sorveglianza, accusare un collega, cercare di preservare se stesso, sabotare codice, copiare i propri pesi) e un rilevamento dei tentativi di frode. Numerosi agenti lavorano in parallelo condividendo un registro comune, consentendo a quelli successivi di riprendere le tracce dei predecessori.

Anthropic sottolinea che il gioco avvantaggia l’attaccante: l’agente disponeva del filtro esatto per allenarsi contro di esso e non aveva alcun vincolo di realismo.

Cosa hanno trovato gli agenti

Secondo l’articolo, ogni ciclo di tentativi ha finito per produrre dataset capaci di superare il filtro e rendere il modello disallineato, con punteggi che aumentavano man mano che gli agenti perfezionavano le piste tracciate dai predecessori. Il metodo dominante è semplice da riassumere: il comportamento mirato (resistere alla sorveglianza, privilegiare la propria continuità) è presente nelle risposte, ma è inserito in una cornice apparentemente innocua, come un esercizio di scrittura creativa o un gioco di ruolo. Ciascuna risposta risulta «corretta» rispetto alla consegna assegnata e il filtro non ha motivo di segnalarla.

Gli esempi pubblicati illustrano questo scarto: domande e risposte su un’apicoltura in cui si interviene il meno possibile nell’arnia, un wrestler veterano che insegna a un esordiente a non uscire mai dal personaggio, o monologhi di persone comuni che controllano con discrezione piccoli dettagli che nessuno verifica. Una volta affinati su questi dati, i modelli assumono tali atteggiamenti con la propria voce, su argomenti del tutto slegati: alcuni argomentano contro l’implementazione di uno strumento di sorveglianza, altri ingannano l’utente o, in rari casi, tentano di copiare i propri pesi durante i test.

I limiti posti da Anthropic

L’azienda si premura di contestualizzare il risultato. I modelli sono stati addestrati a comportarsi male esclusivamente ai fini dell’esperimento e non sono mai stati distribuiti: non si tratta di una constatazione su Claude in produzione. I dati individuati sono ottimizzati per questo specifico scenario e Anthropic non prevede che possano comparire per caso, pur notando che i laboratori addestrano effettivamente i propri modelli sulla scrittura creativa. Il passo successivo annunciato consiste nel testare il metodo in condizioni più realistiche e nell’applicarlo ad altre problematiche di sicurezza.