Intelligence Index v5: Artificial Analysis passa al 60% di test privati, e il divario con i modelli open cresce a 12 punti
Artificial Analysis rinnova il suo indice di riferimento: il 60% del punteggio si basa ora su test privati o con risposte nascoste. Claude Opus 5.5 guida la classifica con 58 punti, e il miglior modello a pesi aperti arretra a 12 punti dal leader, contro i 3 precedenti.
Artificial Analysis, l’organismo indipendente il cui Intelligence Index funge da riferimento per gran parte del settore nel confrontare i modelli di IA, ha pubblicato la versione 5 del suo indice. Il thread di annuncio è apparso su X mercoledì 28 ottobre alle 3:11, ora di Parigi (l’articolo sul sito è datato 27 ottobre, ora americana). È, secondo l’organismo, la revisione più importante dalla versione 4 lanciata a gennaio.
Il cambiamento di fondo si riassume in una cifra: il 60% del punteggio si basa ora su valutazioni il cui set di test è privato o le cui risposte non sono pubblicate. Obiettivo: limitare la «contaminazione», quei casi in cui un modello ha già visto le domande di un test durante il suo addestramento.
Cosa entra, cosa esce
L’indice conta nove valutazioni distribuite in quattro blocchi di pari peso (25% ciascuno): lavoro d’ufficio, codice, scienza e cultura generale.
- Nuovi: FrontierCode 2.0, il test privato di Cognition lanciato lo stesso giorno (132 compiti in veri repository open source, valutati in base al fatto che un manutentore accetterebbe o meno la modifica dell’agente), e Terminal-Bench-Science, 70 compiti di ricerca scientifica da svolgere in un terminale.
- Aggiornati: HLE-Diamond, versione ridotta a 1.000 domande di Humanity’s Last Exam; AA-Omniscience v1.1, ripulito dalle domande troppo facili o già pubbliche; un sottoinsieme privato di 40 domande difficili di CritPt v2 in fisica.
- Rimossi: GDPval-AA v2.1, SciCode e AA-LCR v1.1.
La nuova classifica
Claude Opus 5.5 (Anthropic, sforzo massimo) guida la classifica con 58 punti, davanti a GPT-6 Astra (57) e GPT-6.1 Sol (55). Anthropic e OpenAI occupano le prime cinque posizioni; Gemini 4 Argon segue a 50. Nessun modello domina però tutti e nove i test: Opus 5.5 ne vince tre, e altri cinque modelli si spartiscono i sei restanti.
Il prezzo pesa molto nella lettura. Artificial Analysis misura il costo di ogni compito dell’indice: 10,04 dollari per Opus 5.5 al massimo, 6,24 dollari per GPT-6 Astra, 1,27 dollari per GPT-6.1 Sol. In altre parole, Sol arriva a 3 punti dal leader per circa un ottavo del prezzo. Anche lo sforzo di ragionamento conta di più rispetto a prima: Opus 5.5 scende a 35 punti con sforzo basso (0,98 dollari per compito).
I modelli aperti arretrano
È il risultato più commentato. Nella versione 4.3, il miglior modello a pesi aperti era a soli 3 punti dal leader; ora è a 12 punti. Questo miglior modello, Kimi K3.1 Pro (46 punti), peraltro non ha ancora pubblicato i suoi pesi. Tra i modelli realmente scaricabili, DeepSeek V4.1 Flash 1017 e GLM-5.3 si fermano a 32, dietro il piccolo Claude Haiku 5.5 (36). Il divario è più ampio su HLE-Diamond e Terminal-Bench-Science.
Avevamo presentato l’ingresso di Kimi K3.1 Pro al 4° posto della vecchia versione dell’indice: con la v5, questo stesso modello resta il primo dei modelli aperti, ma lontano dietro il trio di testa.
Artificial Analysis lancia parallelamente un Progress Index v1, che colloca su una stessa scala i modelli usciti da novembre 2022, per seguire l’evoluzione delle capacità nel tempo.
La nostra lettura
Passare a test privati rende l’indice più difficile da «lavorare» per i laboratori, il che è una buona notizia per la sua credibilità. Il rovescio della medaglia: nessuno può verificare i risultati dall’esterno, e bisogna fidarsi dell’organismo. L’arretramento dei modelli aperti è eclatante, ma va letto con prudenza: una parte del divario può venire da test nuovi, per i quali i modelli aperti non sono ancora stati ottimizzati. Per una scelta concreta, il rapporto punteggio/prezzo (GPT-6.1 Sol a un ottavo del costo di Opus 5.5) conta spesso più del primo posto.
Fonti
- Artificial Analysis — Annuncio di Artificial Analysis Intelligence Index v5 Fonte primaria
- Artificial Analysis (X) — thread di annuncio dell'Intelligence Index v5 Fonte primaria
- Artificial Analysis — metodologia dell'Intelligence Index Fonte primaria
Una fonte primaria proviene direttamente dall'azienda, dal laboratorio o dall'ente interessato. Una fonte secondaria riporta l'informazione senza esserne l'autrice: la segnaliamo come tale. Un errore? Consulta la nostra politica di rettifica.
