GPT-6 Astra bei ARC-AGI-3: 62,7 Prozent laut ARC Prize, weit entfernt von den angekündigten 99,9 Prozent
Mit dem Standardprotokoll kommt die Organisation, die den Test betreibt, auf einen deutlich niedrigeren Wert als OpenAI – bei Kosten von mehr als 26.000 Dollar.
OpenAI beansprucht für GPT-6 Astra 99,9 Prozent bei ARC-AGI-3, einem der meistbeachteten Tests für logisches Denken in der Branche. Der ARC Prize, der diesen Test verwaltet, hat seine eigene Auswertung veröffentlicht: 62,7 Prozent mit dem Standardprotokoll.
Zwei Protokolle, zwei Ergebnisse
Die Abweichung bedeutet nicht zwangsläufig, dass einer der beiden Werte falsch ist. Laut ARC Prize wurde das Ergebnis von OpenAI mit einem angepassten Protokoll erzielt, das sich von dem unterscheidet, das für alle bewerteten Modelle gilt. Gerade das gemeinsame Protokoll macht Systeme aber miteinander vergleichbar. Der Referenzwert lautet daher 62,7 Prozent.
Die Kosten, die zweite Schlüsselgröße
Der ARC Prize nennt auch die Kosten seiner Auswertung: 26.098 Dollar. Der Betrag erinnert daran, dass ein Ergebnis bei Denkaufgaben mit Rechenleistung bezahlt wird und dass zwei Modelle mit gleichem Wert sehr unterschiedliche Kosten verursachen können. Ein Ergebnis ohne seine Kosten erzählt nur einen Teil der Geschichte.
Unsere Einschätzung
62,7 Prozent sind ein Ergebnis, das im Vergleich mit den anderen vom ARC Prize bewerteten Modellen einzuordnen ist. Die Episode verdeutlicht aber eine einfache Regel: Ein vom Anbieter unter eigenen Testbedingungen angegebener Wert ist als Behauptung zu lesen, nicht als Messung. Wir geben stets der Messung der unabhängigen Organisation den Vorzug.
Quellen
- ARC Prize — Ergebnisse von GPT-6 Astra bei ARC-AGI-3 Primärquelle — Organisation, die den Benchmark betreibt
Eine Primärquelle stammt direkt von dem betreffenden Unternehmen, Labor oder der Organisation. Eine Sekundärquelle gibt die Information wieder, ohne ihr Urheber zu sein: Wir kennzeichnen sie als solche. Einen Fehler entdeckt? Lesen Sie unsere Korrekturrichtlinie.
