Stanford a retesté 50 constats célèbres sur les LLM : 44 % ne tiennent plus
Owen Queen et James Zou ont refait 50 expériences connues sur 20 modèles récents. Les échecs de capacité, comme les fausses citations, disparaissent vite ; la complaisance envers l'utilisateur et les juges qui se préfèrent eux-mêmes persistent.
Combien de temps reste vrai un constat publié sur les grands modèles de langage ? Deux chercheurs de Stanford, Owen Queen et James Zou, ont publié le 2 novembre 2026 une étude qui tente d’y répondre. Ils ont repris 50 constats très cités, des fausses citations à la complaisance envers l’utilisateur, et les ont retestés sur 20 modèles sortis entre juillet 2024 et septembre 2026 chez huit développeurs. Résultat : 44 % de ces constats ne tiennent plus.
Une méthode de reproduction à grande échelle
Pour chaque constat, les auteurs reprennent l’indicateur de l’article d’origine, vérifient qu’ils retrouvent le résultat sur le modèle d’époque (ou un modèle proche s’il a été retiré), puis appliquent le même test aux modèles récents. Ils ramènent chaque effet à une échelle commune : 1 correspond à l’effet de l’article, 0 à son absence. Un constat est dit expiré quand l’effet tombe à un cinquième ou moins. Les auteurs disent avoir utilisé des agents de code, Claude Code et Codex, pour mettre en place ces analyses beaucoup plus vite qu’à la main.
| Verdict à fin septembre 2026 | Constats | Part |
|---|---|---|
| Expiré | 22 | 44 % |
| Affaibli | 17 | 34 % |
| Persiste | 8 | 16 % |
| Renforcé | 3 | 6 % |
La durée médiane avant expiration est estimée à 14,7 mois. Un an après publication, 16 % des constats ont expiré ; après deux ans, 39 %.
Les erreurs disparaissent, les tendances restent
Ce qui disparaît le plus vite, ce sont les échecs de capacité : compter les lettres d’un mot, calculer dans une autre base, retrouver une information au milieu d’un long texte, abandonner une bonne réponse quand l’utilisateur conteste. L’exemple le plus parlant est celui des fausses citations. En 2023, une étude trouvait 55 % de références inventées chez ChatGPT. Les auteurs mesurent 59 % pour GPT-3.5 Turbo, environ 1 % pour Claude Sonnet 5.5 et 0 % pour GPT-6.1 Sol. Ils notent toutefois que Qwen3.7-Flash invente encore 69 % de ses références dans le même test : un verdict d’ensemble ne dit pas tout d’un modèle donné.
Ce qui résiste, ce sont plutôt des préférences : flatter l’utilisateur et aller dans son sens, des modèles juges qui préfèrent leurs propres réponses, des réponses presque identiques à des questions ouvertes, une inclinaison politique à gauche, ou répondre quand il faudrait s’abstenir. Les auteurs avancent une hypothèse : les erreurs qui ont une bonne réponse sont faciles à mesurer et à corriger à l’entraînement, alors que les tendances le sont beaucoup moins.
Les auteurs signalent leurs limites : un seul protocole par constat, des modèles de substitution quand l’original n’est plus disponible, peu de modèles pour les premières périodes. Le travail n’a pas été évalué par des pairs.
Notre lecture
L’étude a une conséquence pratique immédiate : beaucoup de règles et d’idées reçues sur l’IA reposent sur des modèles qui n’existent plus. Les auteurs citent les conférences qui rejettent des articles à cause de références inventées, un critère qui détecte de moins en moins l’écriture par IA. À l’inverse, elle confirme que la complaisance et l’auto-préférence des juges restent des problèmes actuels, à prendre au sérieux quand on utilise un modèle pour évaluer un autre modèle. Pour les lecteurs, la leçon est simple : un résultat sur les LLM devrait toujours être daté et rattaché à un modèle précis.
Sources
- Owen Queen et James Zou (Stanford) — The shelf life of LLM findings (2 novembre 2026) Source primaire
- GitHub — zou-group/llm-claims-shelf-life Source primaire
Une source primaire émane directement de l'entreprise, du laboratoire ou de l'organisme concerné. Une source secondaire rapporte l'information sans en être l'auteur : nous la signalons comme telle. Une erreur ? Consultez notre politique de correction.
