Stanford ha ritestato 50 celebri scoperte sui LLM: il 44% non regge più
Owen Queen e James Zou hanno replicato 50 noti esperimenti su 20 modelli recenti. I limiti di capacità, come le false citazioni, scompaiono in fretta; l'adulazione verso l'utente e i giudici che preferiscono se stessi persistono.
Quanto tempo resta valida una scoperta pubblicata sui grandi modelli linguistici? Due ricercatori di Stanford, Owen Queen e James Zou, hanno pubblicato il 2 novembre 2026 uno studio che tenta di rispondere a questo interrogativo. Hanno ripreso 50 scoperte ampiamente citate, dalle false citazioni all’adulazione verso l’utente, e le hanno ritestate su 20 modelli usciti tra luglio 2024 e settembre 2026 da otto sviluppatori. Risultato: il 44% di queste constatazioni non regge più.
Un metodo di riproduzione su larga scala
Per ciascuna scoperta, gli autori riprendono la metrica dell’articolo originale, verificano di ritrovare il risultato sul modello dell’epoca (o su un modello analogo se questo è stato ritirato), quindi applicano lo stesso test ai modelli recenti. Riconducono ogni effetto a una scala comune: 1 corrisponde all’effetto dell’articolo, 0 alla sua assenza. Una scoperta viene definita scaduta quando l’effetto scende a un quinto o meno. Gli autori affermano di aver utilizzato agenti di programmazione, Claude Code e Codex, per implementare queste analisi molto più rapidamente rispetto a un lavoro manuale.
| Verdetto a fine settembre 2026 | Scoperte | Quota |
|---|---|---|
| Scaduta | 22 | 44% |
| Indebolita | 17 | 34% |
| Persiste | 8 | 16% |
| Rafforzata | 3 | 6% |
La durata mediana prima della scadenza è stimata in 14,7 mesi. Un anno dopo la pubblicazione, il 16% delle constatazioni è scaduto; dopo due anni, il 39%.
Gli errori scompaiono, le tendenze rimangono
A scomparire più rapidamente sono i limiti di capacità: contare le lettere di una parola, fare calcoli in un’altra base numerica, rintracciare un’informazione in mezzo a un testo lungo, abbandonare una risposta corretta quando l’utente dissente. L’esempio più evidente è quello delle false citazioni. Nel 2023, uno studio riscontrava il 55% di riferimenti inventati in ChatGPT. Gli autori misurano il 59% per GPT-3.5 Turbo, circa l‘1% per Claude Sonnet 5.5 e lo 0% per GPT-6.1 Sol. Rilevano tuttavia che Qwen3.7-Flash inventa ancora il 69% dei suoi riferimenti nello stesso test: un verdetto complessivo non dice tutto su un determinato modello.
Ciò che resiste, invece, sono soprattutto le preferenze: adulare l’utente e assecondarlo, modelli giudici che preferiscono le proprie risposte, risposte quasi identiche a domande aperte, un orientamento politico a sinistra, o rispondere quando ci si dovrebbe astenere. Gli autori avanzano un’ipotesi: gli errori che hanno una risposta univoca e corretta sono facili da misurare e correggere durante l’addestramento, mentre le tendenze comportamentali lo sono molto meno.
Gli autori segnalano i propri limiti: un solo protocollo per scoperta, modelli sostitutivi quando l’originale non è più disponibile, pochi modelli per i primi periodi. Il lavoro non è stato sottoposto a revisione paritaria.
La nostra lettura
Lo studio ha una conseguenza pratica immediata: molte regole e convinzioni diffuse sull’IA poggiano su modelli che non esistono più. Gli autori citano le conferenze che respingono articoli a causa di riferimenti inventati, un criterio che individua sempre meno la scrittura prodotta da IA. Al contrario, conferma che l’adulazione e l’auto-preferenza dei giudici restano problemi attuali, da prendere sul serio quando si impiega un modello per valutarne un altro. Per i lettori, la lezione è semplice: un risultato sui LLM dovrebbe essere sempre datato e collegato a un modello preciso.
Fonti
- Owen Queen e James Zou (Stanford) — The shelf life of LLM findings (2 novembre 2026) Fonte primaria
- GitHub — zou-group/llm-claims-shelf-life Fonte primaria
Una fonte primaria proviene direttamente dall'azienda, dal laboratorio o dall'ente interessato. Una fonte secondaria riporta l'informazione senza esserne l'autrice: la segnaliamo come tale. Un errore? Consulta la nostra politica di rettifica.
