Stanford testou novamente 50 descobertas famosas sobre LLMs: 44% já não se sustentam
Owen Queen e James Zou refizeram 50 experimentos conhecidos em 20 modelos recentes. Falhas de capacidade, como citações falsas, desaparecem rápido; a bajulação do usuário e juízes que preferem a si mesmos persistem.
Por quanto tempo permanece válida uma descoberta publicada sobre grandes modelos de linguagem? Dois pesquisadores de Stanford, Owen Queen e James Zou, publicaram em 2 de novembro de 2026 um estudo que tenta responder a essa questão. Eles revisitaram 50 constatações amplamente citadas — de citações falsas à bajulação do usuário — e as testaram novamente em 20 modelos lançados entre julho de 2024 e setembro de 2026 por oito desenvolvedores. Resultado: 44% dessas constatações já não se sustentam.
Um método de reprodução em larga escala
Para cada constatação, os autores recuperam o indicador do artigo original, verificam se conseguem reproduzir o resultado no modelo da época (ou em um modelo próximo, caso tenha sido descontinuado) e, em seguida, aplicam o mesmo teste aos modelos recentes. Eles convertem cada efeito para uma escala comum: 1 corresponde ao efeito do artigo, 0 à sua ausência. Uma descoberta é considerada expirada quando o efeito cai para um quinto ou menos. Os autores afirmam ter utilizado agentes de código, como Claude Code e Codex, para estruturar essas análises com muito mais agilidade do que manualmente.
| Veredito no final de setembro de 2026 | Constatações | Proporção |
|---|---|---|
| Expirado | 22 | 44% |
| Enfraquecido | 17 | 34% |
| Persiste | 8 | 16% |
| Fortalecido | 3 | 6% |
A duração mediana até a expiração é estimada em 14,7 meses. Um ano após a publicação, 16% das descobertas expiraram; após dois anos, 39%.
Os erros desaparecem, as tendências permanecem
O que desaparece com mais rapidez são as falhas de capacidade: contar as letras de uma palavra, fazer cálculos em outra base numérica, localizar uma informação no meio de um texto longo, abandonar uma resposta correta quando o usuário contesta. O exemplo mais evidente é o das citações falsas. Em 2023, um estudo apontava 55% de referências inventadas no ChatGPT. Os autores medem 59% para o GPT-3.5 Turbo, cerca de 1% para o Claude Sonnet 5.5 e 0% para o GPT-6.1 Sol. No entanto, eles observam que o Qwen3.7-Flash ainda inventa 69% de suas referências no mesmo teste: um veredito geral não revela tudo sobre um modelo específico.
O que resiste são, sobretudo, as preferências: bajular o usuário e concordar com ele, modelos juízes que preferem suas próprias respostas, respostas quase idênticas para perguntas abertas, uma inclinação política à esquerda ou responder quando deveriam se abster. Os autores levantam uma hipótese: erros que contam com uma resposta correta são fáceis de medir e corrigir no treinamento, enquanto as tendências comportamentais são muito mais difíceis.
Os autores apontam suas limitações: um único protocolo por constatação, uso de modelos substitutos quando o original não está mais disponível e poucos modelos representados nos períodos iniciais. O trabalho ainda não foi avaliado por pares.
Nossa leitura
O estudo traz uma consequência prática imediata: muitas regras e ideias consolidadas sobre IA apoiam-se em modelos que já nem existem mais. Os autores citam conferências acadêmicas que reprovam artigos com base em referências inventadas — um critério que detecta cada vez menos a escrita por IA. Por outro lado, confirma que a bajulação e a autopreferência de juízes continuam sendo problemas atuais, que devem ser levados a sério ao usar um modelo para avaliar outro. Para os leitores, a lição é simples: qualquer resultado sobre LLMs deve sempre vir acompanhado de data e vinculado a um modelo específico.
Fontes
- Owen Queen e James Zou (Stanford) — The shelf life of LLM findings (2 de novembro de 2026) Fonte primária
- GitHub — zou-group/llm-claims-shelf-life Fonte primária
Uma fonte primária vem diretamente da empresa, do laboratório ou da organização envolvida. Uma fonte secundária relata a informação sem ser a sua autora: nós a sinalizamos como tal. Encontrou um erro? Consulte nossa política de correções.
