GPT-6 Astra sur ARC-AGI-3 : 62,7 % mesurés par l'ARC Prize, loin des 99,9 % annoncés
Avec le protocole standard, l'organisme qui gère le test obtient un score bien inférieur à celui d'OpenAI, pour un coût de plus de 26 000 dollars.
OpenAI revendique 99,9 % sur ARC-AGI-3, l’un des tests de raisonnement les plus suivis du secteur pour GPT-6 Astra. L’ARC Prize, qui administre ce test, a publié sa propre évaluation : 62,7 % avec le protocole standard.
Deux protocoles, deux résultats
L’écart ne signifie pas forcément qu’un des deux chiffres est faux. Selon l’ARC Prize, le score d’OpenAI a été obtenu avec un protocole adapté, différent de celui appliqué à tous les modèles évalués. Or c’est le protocole commun qui permet de comparer les systèmes entre eux. Le chiffre de référence est donc 62,7 %.
Le coût, l’autre donnée clé
L’ARC Prize indique aussi le coût de son évaluation : 26 098 dollars. Ce montant rappelle qu’un score de raisonnement se paie en calcul, et que deux modèles au même score peuvent avoir des coûts très différents. Un résultat sans son coût ne dit qu’une partie de l’histoire.
Notre lecture
62,7 % reste un résultat à analyser à l’aune des autres modèles évalués par l’ARC Prize. Mais l’épisode illustre une règle simple : un score annoncé par l’éditeur avec ses propres conditions de test doit être lu comme une revendication, pas comme une mesure. Nous privilégions toujours la mesure de l’organisme indépendant.
Sources
- ARC Prize — résultats de GPT-6 Astra sur ARC-AGI-3 Source primaire — organisme qui gère le benchmark
Une source primaire émane directement de l'entreprise, du laboratoire ou de l'organisme concerné. Une source secondaire rapporte l'information sans en être l'auteur : nous la signalons comme telle. Une erreur ? Consultez notre politique de correction.
