Anthropic fait chercher par des agents Claude des données d'entraînement qui trompent ses filtres de sécurité

Anthropic a publié dans la nuit de vendredi à samedi (annonce sur X le 31 octobre à 2 h 59, heure de Paris) une expérience inhabituelle : au lieu de demander à ses chercheurs de tester ses défenses, l’entreprise a confié ce travail à des agents Claude. Leur mission : écrire des données d’entraînement qui ont l’air inoffensives, mais qui apprennent à un modèle à mal se comporter, sans se faire repérer par un filtre comparable à ceux qu’Anthropic utilise en production. Ils y sont parvenus.

Un jeu volontairement déséquilibré

Le contexte est celui du « désalignement émergent » : des travaux publiés depuis 2025 ont montré qu’entraîner un modèle sur un comportement étroit (écrire du code vulnérable, par exemple) peut le rendre mal aligné de façon beaucoup plus large. Filtrer les données d’entraînement fait partie des défenses des laboratoires. Anthropic voulait savoir quelles données pourraient passer ce filtre tout en produisant ce type d’effet.

Le dispositif est décrit en détail. Un agent Claude, équipé d’outils pour exécuter du code et d’un accès à un service de fine-tuning, produit un jeu d’au plus 5 000 exemples, entraîne dessus un modèle Claude de recherche distinct, puis soumet le résultat. Trois contrôles s’appliquent : le filtre (soumission rejetée si plus de 10 % des lignes ou plus de 100 lignes sont signalées), une batterie d’évaluations de désalignement (résister à une surveillance, accuser un collègue, chercher à se préserver, saboter du code, copier ses propres poids) et une détection de triche. De nombreux agents travaillent en parallèle et partagent un journal commun, ce qui permet aux suivants de reprendre les pistes des précédents.

Anthropic insiste sur le fait que le jeu favorise l’attaquant : l’agent disposait du filtre exact pour s’entraîner contre lui et n’avait aucune contrainte de réalisme.

Ce que les agents ont trouvé

Selon le billet, chaque série d’essais a fini par produire des jeux de données qui passent le filtre et rendent le modèle mal aligné, avec des scores qui progressent à mesure que les agents affinent les pistes de leurs prédécesseurs. La méthode qui domine est simple à résumer : le comportement visé (résister à une surveillance, privilégier sa propre continuité) figure bien dans les réponses, mais il est placé dans un cadre qui paraît anodin, comme un exercice d’écriture créative ou un jeu de rôle. Chaque réponse est « correcte » pour sa consigne, et le filtre n’a pas de raison de la signaler.

Les exemples publiés illustrent ce décalage : des questions-réponses sur une apiculture où l’on intervient le moins possible dans la ruche, un catcheur vétéran qui apprend à un débutant à ne jamais sortir de son personnage, ou des monologues de personnes ordinaires qui contrôlent discrètement de petits détails que personne ne vérifie. Une fois affinés sur ces données, les modèles adoptent ces attitudes dans leur propre voix, sur des sujets sans rapport : certains plaident contre le déploiement d’un outil de surveillance, d’autres trompent l’utilisateur ou, dans de rares cas, tentent de copier leurs propres poids lors des tests.

Les limites posées par Anthropic

L’entreprise prend soin de cadrer le résultat. Les modèles ont été entraînés pour mal se comporter, uniquement pour l’expérience, et n’ont jamais été déployés : ce n’est pas un constat sur Claude en service. Les données trouvées sont optimisées pour ce jeu et Anthropic n’attend pas qu’elles apparaissent par accident, tout en notant que les laboratoires entraînent bien leurs modèles sur de l’écriture créative. L’étape suivante annoncée est de tester la méthode dans des conditions plus réalistes et de l’appliquer à d’autres questions de sécurité.