GPT-6 Astra su ARC-AGI-3: 62,7% con il protocollo standard, 99,9% con quello adattato al modello
L'ARC Prize ha misurato direttamente i due punteggi: la differenza deriva dal modo in cui il modello conserva il suo ragionamento da una richiesta all'altra.
L’ARC Prize, che amministra il test di ragionamento ARC-AGI-3, ha pubblicato il 3 settembre i suoi risultati per GPT-6 Astra, il modello di OpenAI. Fornisce due punteggi, entrambi misurati direttamente dall’organismo sul set di test semi-privato: 62,7% con il suo protocollo standard e 99,9% con un protocollo denominato «Provider Adapter».
Due protocolli, due domande
Il protocollo standard è lo stesso per tutti i modelli: da un turno all’altro, il modello conserva solo le note che sceglie di scrivere. È quello che consente di confrontare i fornitori a parità di condizioni. Il protocollo «Provider Adapter» lascia invece al modello l’uso delle funzioni di gestione del contesto previste dal suo sviluppatore: per Astra, la conservazione del suo stato di ragionamento (non visibile) tra le richieste e la compattazione delle conversazioni lunghe.
Le due cifre non si contraddicono quindi: rispondono a due domande diverse. L’ARC Prize indica che pubblicherà d’ora in poi entrambi i risultati nella sua classifica, ciascuno chiaramente etichettato.
Costi pubblicati
L’organismo pubblica anche il costo di ogni valutazione: 26.098 dollari per il 62,7% (sforzo di ragionamento massimo) e 18.817 dollari per il 99,9% (sforzo elevato). Con il secondo protocollo e lo sforzo massimo, Astra ha inoltre utilizzato meno azioni dell’umano mediano testato sul 96% dei livelli, e il 51,7% di azioni in meno per livello in media.
Non una prova di AGI
L’ARC Prize precisa che saturare ARC-AGI-3 non prova che un sistema abbia raggiunto l’intelligenza artificiale generale: il test resta limitato, con meccaniche e obiettivi chiusi, lontano dalla complessità del mondo reale.
La nostra lettura
Uno stesso modello passa dal 62,7% al 99,9% a seconda del modo in cui lo si lascia gestire la sua memoria di lavoro. Per confrontare i modelli tra loro, il protocollo comune resta il riferimento; per sapere cosa dà un modello nelle condizioni previste dal suo sviluppatore, la seconda cifra è pertinente. In entrambi i casi, un punteggio si legge con il suo protocollo e il suo costo.
Articolo corretto il 27 ottobre 2026: la prima versione presentava a torto il punteggio del 99,9% come un annuncio di OpenAI non riprodotto. È stato misurato dall’ARC Prize con un secondo protocollo.
Fonti
- ARC Prize — risultati di GPT-6 Astra su ARC-AGI-3 Fonte primaria — organismo che gestisce il benchmark
Una fonte primaria proviene direttamente dall'azienda, dal laboratorio o dall'ente interessato. Una fonte secondaria riporta l'informazione senza esserne l'autrice: la segnaliamo come tale. Un errore? Consulta la nostra politica di rettifica.
