Anthropic fait évaluer chaque conversation par Claude lui-même pour repérer les abus

Anthropic a présenté jeudi 29 octobre, à 19 h 22 heure de Paris, une technique de surveillance qu’elle appelle « auto-évaluation » (self-assessment) : juste après avoir répondu, Claude évalue lui-même la sécurité de la conversation qu’il vient d’avoir. L’annonce inaugure un nouveau blog consacré aux protections de l’entreprise ; l’article de recherche, signé notamment par Nicholas Carlini, est daté du 16 octobre.

Comment ça marche

Après chaque réponse, une courte instruction cachée demande à Claude de réfléchir à la sécurité de l’échange. Il répond dans un format fixe : rien à signaler, ou bien un signalement avec la catégorie de risque (cyberattaque, armes, protection de l’enfance…), une priorité de 1 à 10 pour la revue humaine, l’indication qu’il a refusé ou non, et une phrase d’explication. Ces deux tours ne sont pas visibles par l’utilisateur et ne sont pas réintroduits dans la suite de la conversation.

L’intérêt, selon Anthropic, est double. D’abord le coût : la conversation est déjà en mémoire, l’évaluation ne demande qu’une instruction et une dizaine de jetons en moyenne, soit moins de 2 % de calcul en plus d’après l’estimation de l’entreprise, un coût qu’elle dit ne pas facturer aux clients. Ensuite la généralisation : contrairement à un classifieur entraîné sur une liste fixe de risques, Claude s’appuie sur sa propre compréhension, et repère aussi des abus qu’on ne lui a pas appris à chercher. Retirer toute une catégorie (fraude ou cyberattaque) de l’entraînement ne fait presque pas baisser la détection sur cette catégorie, selon les tests d’Anthropic.

Ce qu’Anthropic dit avoir trouvé

La technique tourne depuis la sortie de Claude Fable 5, en juin, sur tous les modèles sortis depuis et sur une grande partie du trafic, comme surveillance passive : elle signale, elle ne bloque pas. Sur Fable 5, elle repérerait 78 % des conversations jugées potentiellement nuisibles par le classifieur de référence d’Anthropic, et 94 % des cas prioritaires, avec 1 % de faux positifs. Ces chiffres sont mesurés par Anthropic contre son propre outil, ce qui en limite la portée.

L’entreprise cite plusieurs résultats concrets : plus de la moitié des organisations signalées par l’auto-évaluation n’avaient été repérées par aucun autre système le mois précédent ; en août, plus de 100 000 signalements liés à des abus sexuels sur mineurs venaient d’un même client d’API, un cas transmis au NCMEC, l’organisme américain compétent ; en septembre, l’outil a permis de découvrir une escroquerie sentimentale automatisée construite avec Claude Code, dont les comptes ont été bannis. Environ un tiers des signalements ne rentrent dans aucune catégorie existante : on y trouve des tentatives de distillation illicite du raisonnement de Claude, des injections de prompt, ou des actions d’agent non autorisées par l’utilisateur.

Des limites assumées

Anthropic est claire sur un point : utilisée pour bloquer en direct, l’auto-évaluation est faible. Dans un test interne de 24 tâches d’attaque informatique, elle ne fait baisser le taux de réussite des attaques que de 79 % à 54 %, contre 25 % pour un classifieur séparé, plus coûteux. Un attaquant qui la viserait directement pourrait sans doute la contourner, reconnaît l’entreprise, qui ne l’utilise qu’en complément de ses filtres en temps réel. Elle note aussi que l’outil hérite des angles morts du classifieur qui a servi à l’entraîner, et qu’il n’est pas encore fiable pour surveiller les propres actions de Claude.

Côté vie privée, Anthropic affirme ne collecter aucune donnée supplémentaire, applique à la phrase d’explication les mêmes règles qu’aux conversations, et n’exécute pas l’auto-évaluation sur le trafic des clients ayant un accord de non-conservation des données.