Anthropic fa valutare ogni conversazione a Claude stesso per individuare gli abusi

Anthropic ha presentato giovedì 29 ottobre, alle 19:22 ora di Parigi, una tecnica di monitoraggio denominata «autovalutazione» (self-assessment): subito dopo aver risposto, Claude valuta autonomamente la sicurezza della conversazione appena conclusa. L’annuncio inaugura un nuovo blog dedicato alle misure di sicurezza dell’azienda; l’articolo di ricerca, firmato tra gli altri da Nicholas Carlini, è datato 16 ottobre.

Come funziona

Dopo ogni risposta, una breve istruzione non visibile chiede a Claude di riflettere sulla sicurezza dello scambio. Il modello risponde seguendo un formato prestabilito: nulla da segnalare, oppure una segnalazione con la categoria di rischio (attacco informatico, armi, tutela dei minori…), una priorità da 1 a 10 per la revisione umana, l’indicazione se abbia opposto o meno un rifiuto e una frase esplicativa. Questi due passaggi non sono visibili all’utente e non vengono reintrodotti nel seguito della conversazione.

Il vantaggio, secondo Anthropic, è duplice. Innanzitutto il costo: la conversazione è già caricata in memoria, la valutazione richiede solo un’istruzione e circa dieci token in media, corrispondenti a meno del 2% di calcolo aggiuntivo secondo le stime dell’azienda, costo che dichiara di non addebitare ai clienti. In secondo luogo, la generalizzazione: a differenza di un classificatore addestrato su un elenco fisso di minacce, Claude fa leva sulla propria capacità di comprensione e intercetta anche forme di abuso che non gli è stato insegnato a cercare. La rimozione di un’intera categoria (frode o attacco informatico) dalla fase di addestramento non riduce quasi per nulla il tasso di rilevamento per quella voce, stando ai test condotti da Anthropic.

Cosa afferma di aver individuato Anthropic

La tecnica è operativa dal lancio di Claude Fable 5, a giugno, su tutti i modelli distribuiti da allora e su un’ampia quota del traffico, operando come monitoraggio passivo: segnala i casi, ma non blocca nulla. Su Fable 5 individuerebbe il 78% delle conversazioni giudicate potenzialmente dannose dal classificatore di riferimento di Anthropic, e il 94% dei casi prioritari, con l‘1% di falsi positivi. Queste cifre sono state misurate da Anthropic a confronto con il proprio strumento, fattore che ne delimita la portata.

L’azienda menziona diversi risultati concreti: più della metà delle organizzazioni segnalate dall’autovalutazione non era stata rilevata da nessun altro sistema nel mese precedente; ad agosto, oltre 100.000 segnalazioni legate ad abusi sessuali su minori provenivano da un medesimo cliente API, una situazione poi deferita al NCMEC, l’ente statunitense di riferimento; a settembre, lo strumento ha consentito di smascherare una truffa sentimentale automatizzata creata tramite Claude Code, i cui account sono stati bloccati. Circa un terzo delle segnalazioni non ricade in alcuna categoria convenzionale: tra queste figurano tentativi di distillazione illecita dei processi di ragionamento di Claude, prompt injection o azioni non autorizzate compiute da agenti per conto dell’utente.

Limiti dichiarati

Anthropic è esplicita su un elemento: se utilizzata per bloccare in tempo reale, l’autovalutazione risulta debole. In un test interno su 24 attività di attacco informatico, riduce il tasso di riuscita delle offensive unicamente dal 79% al 54%, a fronte del 25% ottenuto con un classificatore indipendente, per quanto più oneroso. Un aggressore intenzionato a colpirla direttamente potrebbe agevolmente eluderla, ammette l’azienda, che la adopera esclusivamente a supporto dei propri filtri in tempo reale. Viene inoltre evidenziato come il sistema erediti i punti ciechi del classificatore impiegato per addestrarlo e come non sia ancora affidabile nel sorvegliare l’operato autonomo di Claude.

Sul fronte della privacy, Anthropic dichiara di non raccogliere alcun dato ulteriore, applica alla frase esplicativa i medesimi criteri riservati alle conversazioni e non esegue l’autovalutazione sul traffico degli utenti tutelati da accordi di non conservazione dei dati.