Artificial Analysis Decision Index v2 : la confiance des modèles de décision entre dans la note, Claude Haiku 5.5 et GPT-6 Luna devant
Artificial Analysis publie la deuxième version de son indice des modèles de décision : une note qui récompense la justesse et la calibration, 45 % de données privées et un nouveau test sur 1 500 documents. Trois modèles spécialisés se tiennent en un point en tête, derrière Claude Haiku 5.5 et GPT-6 Luna, beaucoup plus lents et plus chers.
Un modèle de décision ne rédige pas : il choisit entre des options fixes (router un ticket, accepter un CV, appeler un outil) et donne une probabilité pour chacune, en un seul appel. Artificial Analysis vient de publier la deuxième version de son indice consacré à ces modèles, annoncée sur X dans la nuit du 8 au 9 novembre. Le changement de fond : la note tient compte de la justesse et de la confiance.
Une note qui punit l’excès d’assurance
Jusqu’ici, on comptait surtout les bonnes réponses. Le nouveau Decision Score regarde aussi la probabilité que le modèle attribue à sa réponse. Une bonne réponse vaut entre 50 et 100 points, une mauvaise entre 50 et 0 : un modèle certain et juste marque 100, un modèle certain et faux marque 0. La méthodologie explique pourquoi : en production, une réponse n’est appliquée que si la confiance dépasse un seuil, sinon elle part vers un humain ou un modèle plus puissant. La note fait la moyenne de ce gain sur tous les seuils possibles.
L’indice change aussi d’épreuves. AA-Paperclip (30 % du total), un jeu privé de 1 500 documents (CV, reçus et factures, articles de recherche), demande cinq décisions et dix extractions par document ; le document n’est juste que si les 15 réponses le sont. AA-Symmetry (15 %) pose 120 questions sous 440 formes équivalentes pour vérifier qu’un modèle ne change pas d’avis quand on réordonne les options ou qu’on inverse une question oui/non. WildGuardTest, jugé saturé, disparaît. Selon Artificial Analysis, 45 % de l’indice repose désormais sur des données privées, contre 25 % en v1, pour limiter l’optimisation sur des tests publics.
Trois spécialistes en un point, deux généralistes devant
Chez les modèles de décision, trois noms se tiennent en un point : Drex Max v1.1 (Nace AI) et GLiDE v1.2 (Fastino Labs) à 73, Mammoth 27B (Base Labs) à 72. Les grands modèles de langage, interrogés pour donner eux aussi une probabilité par option, font mieux : Claude Haiku 5.5 (Max) à 77, GPT-6 Luna (Max) à 76.
L’écart se paie ailleurs. Pour un million de tâches, GPT-6 Luna (Max) coûte 1 530 $ et Claude Haiku 5.5 (Max) 6 240 $, contre 102 $ pour Drex Max v1.1 et 14 $ pour Celeris-1.1 Decision. Et il faut 11,34 s par tâche à Luna, 32,65 s à Haiku, contre 275 ms pour Drex Max et 56 ms pour Celeris. Le prix au jeton ne dit pas tout : GLiDE v1.2 facture le document à chaque question, ce qui le porte à 780 $ le million de tâches, près de huit fois Drex Max pour des tarifs affichés seulement 33 % plus élevés.
Les limites à garder en tête
Les deux versions ne se comparent pas : note, épreuves et pondérations ont changé. Une partie de l’indice dépend d’autres modèles : sur EvalSafe-O*NET-AA, qui n’a pas de bonne réponse objective, la référence est le consensus de GPT-6 Astra et Claude Fable 5.1. Enfin, sous l’annonce sur LinkedIn, un commentaire écrit au nom de l’équipe de GLiDE affirme qu’une version plus forte que celle évaluée existe déjà, sans que cela soit vérifié.
Notre lecture
Pour les équipes qui orchestrent des agents, cette v2 mesure enfin ce qui compte en production : savoir quand un modèle peut décider seul et quand il doit passer la main. Le résultat le plus parlant n’est pas le classement mais l’écart de coût et de délai : quelques points de note en plus chez les généralistes contre des factures quinze à soixante fois plus lourdes et des réponses en secondes plutôt qu’en millisecondes. Pour du routage ou du tri à grand volume, les petits modèles spécialisés restent le choix rationnel ; il faut toutefois les tester sur ses propres données, car un indice, même en partie privé, reste celui d’un seul organisme.
Sources
- Artificial Analysis — Decision Index v2 (page de résultats) Source primaire
- Artificial Analysis — méthodologie du Decision Index Source primaire
- Artificial Analysis sur X — annonce du Decision Index v2 (8 novembre 2026) Source primaire
- Artificial Analysis sur LinkedIn — Introducing the Artificial Analysis Decision Index v2 Source primaire
Une source primaire émane directement de l'entreprise, du laboratoire ou de l'organisme concerné. Une source secondaire rapporte l'information sans en être l'auteur : nous la signalons comme telle. Une erreur ? Consultez notre politique de correction.
