Artificial Analysis Decision Index v2: Konfidenz von Entscheidungsmodellen fließt in die Bewertung ein, Claude Haiku 5.5 und GPT-6 Luna vorn

Ein Entscheidungsmodell formuliert keine Texte: Es wählt zwischen festen Optionen (ein Ticket weiterleiten, einen Lebenslauf annehmen, ein Tool aufrufen) und gibt in einem einzigen Aufruf für jede Option eine Wahrscheinlichkeit an. Artificial Analysis hat gerade die zweite Version seines diesen Modellen gewidmeten Index veröffentlicht, die in der Nacht vom 8. auf den 9. November auf X angekündigt wurde. Die grundlegende Neuerung: Die Bewertung berücksichtigt die Richtigkeit und die Konfidenz.

Eine Bewertung, die übertriebene Sicherheit bestraft

Bisher wurden vor allem die richtigen Antworten gezählt. Der neue Decision Score betrachtet auch die Wahrscheinlichkeit, die das Modell seiner Antwort zuweist. Eine richtige Antwort bringt zwischen 50 und 100 Punkte, eine falsche zwischen 50 und 0 Punkte: Ein Modell, das sich sicher und im Recht ist, erhält 100 Punkte; ein Modell, das sich sicher ist, aber falschliegt, erhält 0 Punkte. Die Methodik erklärt, warum: In der Produktion wird eine Antwort nur dann umgesetzt, wenn die Konfidenz einen Schwellenwert überschreitet, andernfalls wird sie an einen Menschen oder ein leistungsfähigeres Modell weitergeleitet. Die Bewertung mittelt diesen Zugewinn über alle möglichen Schwellenwerte hinweg.

Der Index verändert auch die Testverfahren. AA-Paperclip (30 Prozent der Gesamtwertung), ein privater Datensatz aus 1 500 Dokumenten (Lebensläufe, Belege und Rechnungen, Forschungsarbeiten), verlangt fünf Entscheidungen und zehn Extraktionen pro Dokument; das Dokument gilt nur dann als richtig, wenn alle 15 Antworten korrekt sind. AA-Symmetry (15 Prozent) stellt 120 Fragen in 440 äquivalenten Formen, um zu überprüfen, dass ein Modell seine Meinung nicht ändert, wenn man die Optionen umordnet oder eine Ja/Nein-Frage umkehrt. WildGuardTest, das als saturiert eingestuft wurde, entfällt. Laut Artificial Analysis basieren nun 45 Prozent des Index auf privaten Daten, verglichen mit 25 Prozent in der v1, um die Optimierung auf öffentliche Benchmarks zu begrenzen.

Drei Spezialisten innerhalb eines Punktes, zwei Generalisten vorn

Bei den Entscheidungsmodellen liegen drei Namen innerhalb eines Punktes beieinander: Drex Max v1.1 (Nace AI) und GLiDE v1.2 (Fastino Labs) bei 73 Punkten, Mammoth 27B (Base Labs) bei 72 Punkten. Die großen Sprachmodelle, die ebenfalls daraufhin abgefragt wurden, eine Wahrscheinlichkeit pro Option auszugeben, schneiden besser ab: Claude Haiku 5.5 (Max) mit 77 Punkten, GPT-6 Luna (Max) mit 76 Punkten.

Der Abstand fordert an anderer Stelle seinen Tribut. Für eine Million Aufgaben kostet GPT-6 Luna (Max) 1 530 $ und Claude Haiku 5.5 (Max) 6 240 $, gegenüber 102 $ für Drex Max v1.1 und 14 $ für Celeris-1.1 Decision. Zudem benötigt Luna 11,34 s pro Aufgabe und Haiku 32,65 s, während Drex Max 275 ms und Celeris 56 ms brauchen. Der Token-Preis verrät nicht alles: GLiDE v1.2 rechnet das Dokument bei jeder Frage ab, was die Kosten auf 780 $ pro Million Aufgaben treibt – fast das Achtfache von Drex Max, obwohl die ausgewiesenen Tarife nur 33 Prozent höher liegen.

Die Grenzen, die man im Kopf behalten sollte

Die beiden Versionen lassen sich nicht vergleichen: Bewertung, Testverfahren und Gewichtungen haben sich geändert. Ein Teil des Index hängt von anderen Modellen ab: Bei EvalSafe-O*NET-AA, für das es keine objektive richtige Antwort gibt, dient der Konsens von GPT-6 Astra und Claude Fable 5.1 als Referenz. Schließlich behauptet ein Kommentar unter der Ankündigung auf LinkedIn im Namen des Teams von GLiDE, dass bereits eine stärkere Version als die evaluierte existiere, ohne dass dies überprüft wurde.