Intelligence Index v5: Artificial Analysis erhöht Anteil privater Tests auf 60 Prozent, und der Abstand zu Open-Weight-Modellen wächst auf 12 Punkte

Artificial Analysis, die unabhängige Organisation, deren Intelligence Index einem Großteil der Branche als Referenz für den Vergleich von KI-Modellen dient, hat die Version 5 ihres Index veröffentlicht. Der Ankündigungs-Thread erschien am Mittwoch, den 28. Oktober, um 3:11 Uhr, Pariser Zeit auf X (der Artikel auf der Website ist auf den 27. Oktober datiert, amerikanische Zeit). Laut der Organisation ist dies die größte Überarbeitung seit Version 4, die im Januar erschienen war.

Die grundlegende Änderung lässt sich in einer Zahl zusammenfassen: 60 Prozent der Punktzahl basieren nun auf Evaluierungen, deren Testdatensatz privat ist oder deren Antworten nicht veröffentlicht werden. Ziel: die „Kontamination“ einzudämmen, also Fälle, in denen ein Modell die Testfragen bereits während des Trainings gesehen hat.

Was neu hinzukommt, was entfällt

Der Index umfasst neun Evaluierungen in vier gleich gewichteten Blöcken (je 25 Prozent): Büroarbeit, Code, Wissenschaft und Allgemeinwissen.

• Neu: FrontierCode 2.0, der private Test von Cognition, der am selben Tag gestartet wurde (132 Aufgaben in echten Open-Source-Repositories, bewertet danach, ob ein Maintainer die Änderung des Agenten annehmen würde oder nicht), und Terminal-Bench-Science, 70 Aufgaben zur wissenschaftlichen Forschung in einem Terminal.
• Aktualisiert: HLE-Diamond, eine verschärfte Version mit 1.000 Fragen aus Humanity’s Last Exam; AA-Omniscience v1.1, bereinigt von zu einfachen oder bereits öffentlichen Fragen; eine private Teilmenge von 40 schwierigen Fragen aus CritPt v2 in Physik.
• Entfernt: GDPval-AA v2.1, SciCode und AA-LCR v1.1.

Das neue Ranking

Claude Opus 5.5 (Anthropic, maximaler Aufwand) führt mit 58 Punkten, vor GPT-6 Astra (57) und GPT-6.1 Sol (55). Anthropic und OpenAI belegen die ersten fünf Plätze; Gemini 4 Argon folgt mit 50. Dennoch dominiert kein Modell alle neun Tests: Opus 5.5 gewinnt drei, und fünf weitere Modelle teilen sich die übrigen sechs.

Der Preis wiegt schwer in der Bewertung. Artificial Analysis misst die Kosten jeder Index-Aufgabe: 10,04 Dollar für Opus 5.5 bei maximalem Aufwand, 6,24 Dollar für GPT-6 Astra, 1,27 Dollar für GPT-6.1 Sol. Anders gesagt: Sol liegt 3 Punkte hinter dem Spitzenreiter für etwa ein Achtel des Preises. Der Reasoning-Aufwand zählt ebenfalls stärker als zuvor: Opus 5.5 fällt bei niedrigem Aufwand auf 35 Punkte (0,98 Dollar pro Aufgabe).

Open-Weight-Modelle fallen zurück

Das ist das meistkommentierte Ergebnis. In Version 4.3 lag das beste Open-Weight-Modell nur 3 Punkte hinter dem Spitzenreiter; nun sind es 12 Punkte. Dieses beste Modell, Kimi K3.1 Pro (46 Punkte), hat seine Gewichte übrigens noch nicht veröffentlicht. Unter den tatsächlich herunterladbaren Modellen erreichen DeepSeek V4.1 Flash 1017 und GLM-5.3 höchstens 32, hinter dem kleinen Claude Haiku 5.5 (36). Der Abstand ist am größten bei HLE-Diamond und Terminal-Bench-Science.

Wir hatten den Einstieg von Kimi K3.1 Pro auf Platz 4 der alten Index-Version vorgestellt: Mit der v5 bleibt dasselbe Modell an der Spitze der Open-Weight-Modelle, aber weit hinter dem Führungstrio.

Artificial Analysis startet parallel einen Progress Index v1, der Modelle seit November 2022 auf einer gemeinsamen Skala einordnet, um die Entwicklung der Fähigkeiten über die Zeit zu verfolgen.