Stanford vuelve a evaluar 50 hallazgos célebres sobre los LLM: el 44% ya no se sostiene
Owen Queen y James Zou han replicado 50 experimentos conocidos en 20 modelos recientes. Los fallos de capacidad, como las citas falsas, desaparecen con rapidez; la condescendencia hacia el usuario y los jueces que se autogratifican persisten.
¿Cuánto tiempo sigue siendo válido un hallazgo publicado sobre los grandes modelos de lenguaje? Dos investigadores de Stanford, Owen Queen y James Zou, publicaron el 2 de noviembre de 2026 un estudio que intenta responder a esta cuestión. Han recopilado 50 conclusiones ampliamente citadas, desde las citas falsas hasta la condescendencia hacia el usuario, y las han vuelto a poner a prueba en 20 modelos lanzados entre julio de 2024 y septiembre de 2026 por ocho desarrolladores. Resultado: el 44% de estas conclusiones ya no se sostiene.
Un método de reproducción a gran escala
Para cada conclusión, los autores retoman el indicador del artículo original, comprueban que obtienen el resultado en el modelo de la época (o en uno similar si el original fue retirado) y luego aplican la misma prueba a los modelos recientes. Reducen cada efecto a una escala común: 1 corresponde al efecto del artículo y 0 a su ausencia. Se considera que una conclusión ha caducado cuando el efecto cae a una quinta parte o menos. Los autores señalan haber utilizado agentes de programación, Claude Code y Codex, para implementar estos análisis con mucha mayor rapidez que de forma manual.
| Veredicto a finales de septiembre de 2026 | Conclusiones | Proporción |
|---|---|---|
| Caducado | 22 | 44% |
| Debilitado | 17 | 34% |
| Persiste | 8 | 16% |
| Intensificado | 3 | 6% |
La mediana de duración antes de la caducidad se estima en 14,7 meses. Un año después de su publicación, el 16% de las conclusiones ha caducado; tras dos años, el 39%.
Los errores desaparecen, las tendencias permanecen
Lo que desaparece más rápido son los fallos de capacidad: contar las letras de una palabra, calcular en otra base, encontrar un dato en medio de un texto extenso o renunciar a una respuesta correcta cuando el usuario discrepa. El ejemplo más elocuente es el de las citas falsas. En 2023, un estudio halló un 55% de referencias inventadas en ChatGPT. Los autores miden un 59% en GPT-3.5 Turbo, alrededor de un 1% en Claude Sonnet 5.5 y un 0% en GPT-6.1 Sol. No obstante, advierten que Qwen3.7-Flash todavía inventa el 69% de sus referencias en la misma prueba: un veredicto general no lo dice todo sobre un modelo concreto.
Lo que resiste son más bien las preferencias: adular al usuario y darle la razón, modelos evaluadores que prefieren sus propias respuestas, contestaciones casi idénticas a preguntas abiertas, una inclinación política hacia la izquierda o responder cuando convendría abstenerse. Los autores plantean una hipótesis: los errores que cuentan con una respuesta correcta resultan sencillos de medir y subsanar durante el entrenamiento, mientras que las tendencias son mucho más complejas de corregir.
Los autores señalan sus limitaciones: un único protocolo por conclusión, modelos sustitutos cuando el original ya no está disponible y un número reducido de modelos para los periodos iniciales. El trabajo no ha sido revisado por pares.
Nuestro análisis
El estudio tiene una consecuencia práctica inmediata: muchas reglas e ideas preconcebidas sobre la IA se basan en modelos que ya no existen. Los autores citan congresos que rechazan artículos debido a referencias inventadas, un criterio que detecta cada vez peor los textos redactados por IA. En cambio, confirma que la condescendencia y la autopreferencia de los evaluadores siguen siendo problemas actuales, que deben tomarse en serio cuando se utiliza un modelo para evaluar a otro. Para los lectores, la lección es sencilla: cualquier resultado sobre LLM debería estar siempre fechado y vinculado a un modelo concreto.
Fuentes
- Owen Queen y James Zou (Stanford) — The shelf life of LLM findings (2 de noviembre de 2026) Fuente primaria
- GitHub — zou-group/llm-claims-shelf-life Fuente primaria
Una fuente primaria procede directamente de la empresa, el laboratorio o la organización implicados. Una fuente secundaria recoge la información sin ser su autora: la señalamos como tal. ¿Has visto un error? Consulta nuestra política de correcciones.
