Intelligence Index v5 : Artificial Analysis passe à 60 % de tests privés, et l'écart avec les modèles ouverts grimpe à 12 points

Artificial Analysis, l’organisme indépendant dont l’Intelligence Index sert de référence à une bonne partie du secteur pour comparer les modèles d’IA, a publié la version 5 de son indice. Le fil d’annonce est paru sur X ce mercredi 28 octobre à 3 h 11, heure de Paris (l’article du site est daté du 27 octobre, heure américaine). C’est, selon l’organisme, la plus grosse refonte depuis la version 4 lancée en janvier.

Le changement de fond tient en un chiffre : 60 % du score repose désormais sur des évaluations dont le jeu de test est privé ou dont les réponses ne sont pas publiées. Objectif : limiter la « contamination », ces cas où un modèle a déjà vu les questions d’un test pendant son entraînement.

Ce qui entre, ce qui sort

L’indice compte neuf évaluations réparties en quatre blocs de même poids (25 % chacun) : travail de bureau, code, science et culture générale.

• Nouveaux : FrontierCode 2.0, le test privé de Cognition lancé le même jour (132 tâches dans de vrais dépôts open source, notées selon qu’un mainteneur accepterait ou non la modification de l’agent), et Terminal-Bench-Science, 70 tâches de recherche scientifique à mener dans un terminal.
• Mis à jour : HLE-Diamond, version resserrée à 1 000 questions de Humanity’s Last Exam ; AA-Omniscience v1.1, nettoyé des questions trop faciles ou déjà publiques ; un sous-ensemble privé de 40 questions difficiles de CritPt v2 en physique.
• Retirés : GDPval-AA v2.1, SciCode et AA-LCR v1.1.

Le nouveau classement

Claude Opus 5.5 (Anthropic, effort maximal) prend la tête avec 58 points, devant GPT-6 Astra (57) et GPT-6.1 Sol (55). Anthropic et OpenAI occupent les cinq premières places ; Gemini 4 Argon suit à 50. Aucun modèle ne domine pour autant les neuf tests : Opus 5.5 en remporte trois, et cinq autres modèles se partagent les six restants.

Le prix pèse lourd dans la lecture. Artificial Analysis mesure le coût de chaque tâche de l’indice : 10,04 dollars pour Opus 5.5 au maximum, 6,24 dollars pour GPT-6 Astra, 1,27 dollar pour GPT-6.1 Sol. Autrement dit, Sol arrive à 3 points du leader pour environ un huitième du prix. L’effort de raisonnement compte aussi davantage qu’avant : Opus 5.5 tombe à 35 points en effort bas (0,98 dollar par tâche).

Les modèles ouverts décrochent

C’est le résultat le plus commenté. Dans la version 4.3, le meilleur modèle aux poids ouverts n’était qu’à 3 points du leader ; il est désormais à 12 points. Ce meilleur modèle, Kimi K3.1 Pro (46 points), n’a d’ailleurs pas encore publié ses poids. Parmi les modèles réellement téléchargeables, DeepSeek V4.1 Flash 1017 et GLM-5.3 plafonnent à 32, derrière le petit Claude Haiku 5.5 (36). L’écart est le plus large sur HLE-Diamond et Terminal-Bench-Science.

Nous avions présenté l’entrée de Kimi K3.1 Pro au 4e rang de l’ancienne version de l’indice : avec la v5, ce même modèle reste le premier des modèles ouverts, mais loin derrière le trio de tête.

Artificial Analysis lance en parallèle un Progress Index v1, qui place sur une même échelle les modèles sortis depuis novembre 2022, pour suivre l’évolution des capacités dans le temps.