Intelligence Index v5: Artificial Analysis alcanza el 60 % de tests privados y la brecha con los modelos abiertos se amplía a 12 puntos
Artificial Analysis renueva su índice de referencia: el 60 % de la puntuación se basa ahora en tests privados o con respuestas ocultas. Claude Opus 5.5 lidera con 58 puntos, y el mejor modelo de pesos abiertos retrocede a 12 puntos del líder, frente a 3 anteriormente.
Artificial Analysis, el organismo independiente cuyo Intelligence Index sirve de referencia a una buena parte del sector para comparar modelos de IA, ha publicado la versión 5 de su índice. El hilo de anuncio apareció en X este miércoles 28 de octubre a las 3:11, hora de París (el artículo del sitio está fechado el 27 de octubre, hora estadounidense). Es, según el organismo, la mayor renovación desde la versión 4 lanzada en enero.
El cambio de fondo se resume en una cifra: el 60 % de la puntuación se basa ahora en evaluaciones cuyo conjunto de test es privado o cuyas respuestas no están publicadas. Objetivo: limitar la «contaminación», esos casos en los que un modelo ya ha visto las preguntas de un test durante su entrenamiento.
Lo que entra, lo que sale
El índice cuenta con nueve evaluaciones repartidas en cuatro bloques de igual peso (25 % cada uno): trabajo de oficina, código, ciencia y cultura general.
- Nuevos: FrontierCode 2.0, el test privado de Cognition lanzado el mismo día (132 tareas en repositorios open source reales, puntuadas según si un mantenedor aceptaría o no el cambio del agente), y Terminal-Bench-Science, 70 tareas de investigación científica a realizar en un terminal.
- Actualizados: HLE-Diamond, versión reducida a 1000 preguntas de Humanity’s Last Exam; AA-Omniscience v1.1, limpiado de preguntas demasiado fáciles o ya públicas; un subconjunto privado de 40 preguntas difíciles de CritPt v2 en física.
- Retirados: GDPval-AA v2.1, SciCode y AA-LCR v1.1.
La nueva clasificación
Claude Opus 5.5 (Anthropic, esfuerzo máximo) encabeza con 58 puntos, por delante de GPT-6 Astra (57) y GPT-6.1 Sol (55). Anthropic y OpenAI ocupan los cinco primeros puestos; Gemini 4 Argon sigue con 50. Ningún modelo domina los nueve tests: Opus 5.5 gana tres, y otros cinco modelos se reparten los seis restantes.
El precio pesa mucho en la lectura. Artificial Analysis mide el coste de cada tarea del índice: 10,04 dólares para Opus 5.5 al máximo, 6,24 dólares para GPT-6 Astra, 1,27 dólar para GPT-6.1 Sol. Dicho de otro modo, Sol llega a 3 puntos del líder por aproximadamente un octavo del precio. El esfuerzo de razonamiento cuenta también más que antes: Opus 5.5 cae a 35 puntos con esfuerzo bajo (0,98 dólar por tarea).
Los modelos abiertos retroceden
Es el resultado más comentado. En la versión 4.3, el mejor modelo de pesos abiertos estaba solo a 3 puntos del líder; ahora está a 12 puntos. Este mejor modelo, Kimi K3.1 Pro (46 puntos), ni siquiera ha publicado aún sus pesos. Entre los modelos realmente descargables, DeepSeek V4.1 Flash 1017 y GLM-5.3 se quedan en 32, por detrás del pequeño Claude Haiku 5.5 (36). La brecha es mayor en HLE-Diamond y Terminal-Bench-Science.
Habíamos presentado la entrada de Kimi K3.1 Pro en el 4.º puesto de la antigua versión del índice: con la v5, este mismo modelo sigue siendo el primero de los modelos abiertos, pero muy por detrás del trío de cabeza.
Artificial Analysis lanza en paralelo un Progress Index v1, que sitúa en una misma escala los modelos publicados desde noviembre de 2022, para seguir la evolución de las capacidades en el tiempo.
Nuestra lectura
Pasar a tests privados hace que el índice sea más difícil de «trabajar» para los laboratorios, lo cual es una buena noticia para su credibilidad. La contrapartida: nadie puede verificar los resultados desde el exterior, y hay que confiar en el organismo. El retroceso de los modelos abiertos es llamativo, pero hay que leerlo con prudencia: parte de la brecha puede venir de tests nuevos, para los que los modelos abiertos aún no han sido optimizados. Para una elección concreta, la relación puntuación/precio (GPT-6.1 Sol a un octavo del coste de Opus 5.5) suele pesar más que el primer puesto.
Fuentes
- Artificial Analysis — Anuncio del Artificial Analysis Intelligence Index v5 Fuente primaria
- Artificial Analysis (X) — hilo de anuncio del Intelligence Index v5 Fuente primaria
- Artificial Analysis — metodología del Intelligence Index Fuente primaria
Una fuente primaria procede directamente de la empresa, el laboratorio o la organización implicados. Una fuente secundaria recoge la información sin ser su autora: la señalamos como tal. ¿Has visto un error? Consulta nuestra política de correcciones.
