Stanford überprüfte 50 bekannte Erkenntnisse über LLMs: 44 Prozent treffen nicht mehr zu
Owen Queen und James Zou wiederholten 50 bekannte Experimente mit 20 aktuellen Modellen. Fähigkeitsdefizite wie erfundene Zitate verschwinden rasch; Gefallsucht gegenüber Nutzern und die Bevorzugung eigener Antworten bei Richter-Modellen bleiben bestehen.
Wie lange bleibt eine veröffentlichte Erkenntnis über große Sprachmodelle gültig? Zwei Forscher aus Stanford, Owen Queen und James Zou, veröffentlichten am 2. November 2026 eine Studie, die darauf Antworten sucht. Sie griffen 50 oft zitierte Erkenntnisse auf – von erfundenen Zitaten bis hin zur Gefälligkeit gegenüber Nutzern – und testeten sie erneut an 20 Modellen, die zwischen Juli 2024 und September 2026 von acht Anbietern herausgegeben wurden. Das Ergebnis: 44 Prozent dieser Feststellungen treffen nicht mehr zu.
Eine Reproduktionsmethode in großem Maßstab
Für jede Erkenntnis übernahmen die Autoren die Metrik des ursprünglichen Artikels, überprüften, ob sie das Ergebnis beim damaligen Modell (oder einem ähnlichen Modell, falls das Original zurückgezogen wurde) reproduzieren konnten, und wandten denselben Test anschließend auf aktuelle Modelle an. Sie rechneten jeden Effekt auf eine gemeinsame Skala um: 1 entspricht dem Effekt des Artikels, 0 dessen Fehlen. Eine Erkenntnis gilt als abgelaufen, wenn der Effekt auf ein Fünftel oder weniger abfällt. Die Autoren geben an, Coding-Agenten wie Claude Code und Codex genutzt zu haben, um diese Analysen viel schneller als von Hand aufzusetzen.
| Urteil per Ende September 2026 | Erkenntnisse | Anteil |
|---|---|---|
| Abgelaufen | 22 | 44 Prozent |
| Abgeschwächt | 17 | 34 Prozent |
| Bleibt bestehen | 8 | 16 Prozent |
| Verstärkt | 3 | 6 Prozent |
Die mediane Zeitspanne bis zum Ablauf wird auf 14,7 Monate geschätzt. Ein Jahr nach der Veröffentlichung sind 16 Prozent der Erkenntnisse abgelaufen; nach zwei Jahren sind es 39 Prozent.
Fehler verschwinden, Tendenzen bleiben
Am schnellsten verschwinden Fähigkeitsdefizite: das Zählen von Buchstaben in einem Wort, Rechnen in einem anderen Zahlensystem, das Wiederfinden einer Information inmitten eines langen Textes oder das Aufgeben einer richtigen Antwort bei Widerspruch durch den Nutzer. Das anschaulichste Beispiel sind erfundene Zitate. Im Jahr 2023 stellte eine Studie bei ChatGPT 55 Prozent erfundene Quellenangaben fest. Die Autoren maßen nun 59 Prozent bei GPT-3.5 Turbo, etwa 1 Prozent bei Claude Sonnet 5.5 und 0 Prozent bei GPT-6.1 Sol. Sie merken jedoch an, dass Qwen3.7-Flash im selben Test nach wie vor 69 Prozent seiner Referenzen erfindet: Ein Gesamturteil sagt somit nicht alles über ein bestimmtes Modell aus.
Was sich hingegen hält, sind vor allem Präferenzen: dem Nutzer zu schmeicheln und ihm nach dem Mund zu reden, Richter-Modelle, die ihre eigenen Antworten bevorzugen, nahezu identische Antworten auf offene Fragen, eine linke politische Ausrichtung oder das Antworten in Situationen, in denen eine Enthaltung angebracht wäre. Die Autoren stellen eine Hypothese auf: Fehler, bei denen es eine eindeutig richtige Antwort gibt, lassen sich beim Training leicht messen und korrigieren, während dies bei Verhaltensmustern und Tendenzen viel schwieriger ist.
Die Autoren weisen auf ihre Einschränkungen hin: nur ein Protokoll pro Erkenntnis, Ersatzmodelle bei nicht mehr verfügbarem Original und wenige Modelle für die früheren Zeiträume. Die Arbeit wurde noch keinem Peer-Review unterzogen.
Unsere Einschätzung
Die Studie hat eine unmittelbare praktische Konsequenz: Viele Faustregeln und gängige Vorstellungen über KI stützen sich auf Modelle, die gar nicht mehr existieren. Die Autoren verweisen auf Konferenzen, die Einreichungen wegen erfundener Referenzen ablehnen – ein Kriterium, mit dem sich KI-generierte Texte immer schlechter erkennen lassen. Umgekehrt bestätigt die Untersuchung, dass Gefallsucht und die Bevorzugung eigener Antworten bei evaluierenden Modellen weiterhin reale Probleme darstellen, die man bei der Modell-als-Richter-Bewertung ernst nehmen muss. Für Leser lautet die Lehre ganz einfach: Ein Befund über LLMs sollte stets datiert und an ein konkretes Modell geknüpft sein.
Quellen
- Owen Queen und James Zou (Stanford) — The shelf life of LLM findings (2. November 2026) Primärquelle
- GitHub — zou-group/llm-claims-shelf-life Primärquelle
Eine Primärquelle stammt direkt von dem betreffenden Unternehmen, Labor oder der Organisation. Eine Sekundärquelle gibt die Information wieder, ohne ihr Urheber zu sein: Wir kennzeichnen sie als solche. Einen Fehler entdeckt? Lesen Sie unsere Korrekturrichtlinie.
