GPT-6 Astra en ARC-AGI-3: un 62,7% según la ARC Prize, lejos del 99,9% anunciado
Con el protocolo estándar, la organización que gestiona la prueba obtiene una puntuación muy inferior a la de OpenAI, con un coste de más de 26.000 dólares.
OpenAI reivindica un 99,9% en ARC-AGI-3, una de las pruebas de razonamiento más seguidas del sector, para GPT-6 Astra. La ARC Prize, que administra esta prueba, ha publicado su propia evaluación: un 62,7% con el protocolo estándar.
Dos protocolos, dos resultados
La diferencia no significa necesariamente que una de las dos cifras sea falsa. Según la ARC Prize, la puntuación de OpenAI se obtuvo con un protocolo adaptado, distinto del que se aplica a todos los modelos evaluados. Y es precisamente el protocolo común el que permite comparar los sistemas entre sí. La cifra de referencia es, por tanto, el 62,7%.
El coste, el otro dato clave
La ARC Prize también indica el coste de su evaluación: 26.098 dólares. Esta cantidad recuerda que una puntuación de razonamiento se paga en capacidad de cálculo y que dos modelos con la misma puntuación pueden tener costes muy distintos. Un resultado sin su coste solo cuenta una parte de la historia.
Nuestro análisis
El 62,7% es un resultado que hay que analizar a la luz de los demás modelos evaluados por la ARC Prize. Pero el episodio ilustra una regla sencilla: una puntuación anunciada por la empresa con sus propias condiciones de prueba debe leerse como una afirmación, no como una medición. Siempre damos prioridad a la medición de la organización independiente.
Fuentes
- ARC Prize — resultados de GPT-6 Astra en ARC-AGI-3 Fuente primaria — organización que gestiona el benchmark
Una fuente primaria procede directamente de la empresa, el laboratorio o la organización implicados. Una fuente secundaria recoge la información sin ser su autora: la señalamos como tal. ¿Has visto un error? Consulta nuestra política de correcciones.
