Artificial Analysis Decision Index v2: la confidenza dei modelli decisionali entra nel punteggio, Claude Haiku 5.5 e GPT-6 Luna in testa
Artificial Analysis pubblica la seconda versione del suo indice dei modelli decisionali: un punteggio che premia accuratezza e calibrazione, il 45% di dati privati e un nuovo test su 1.500 documenti. Tre modelli specializzati si contendono la vetta in un solo punto, dietro a Claude Haiku 5.5 e GPT-6 Luna, molto più lenti e costosi.
Un modello decisionale non redige testi: sceglie tra opzioni fisse (inoltrare un ticket, accettare un curriculum, invocare uno strumento) e fornisce una probabilità per ciascuna, in una sola chiamata. Artificial Analysis ha appena pubblicato la seconda versione del suo indice dedicato a questi modelli, annunciata su X nella notte tra l‘8 e il 9 novembre. La novità sostanziale: il punteggio tiene conto della correttezza e della confidenza.
Un punteggio che penalizza l’eccesso di sicurezza
Finora si contavano soprattutto le risposte esatte. Il nuovo Decision Score considera anche la probabilità che il modello attribuisce alla propria risposta. Una risposta corretta vale tra 50 e 100 punti, una errata tra 50 e 0: un modello sicuro ed esatto totalizza 100, un modello sicuro ed errato totalizza 0. La metodologia ne spiega la ragione: in produzione, una risposta viene applicata solo se la confidenza supera una soglia, altrimenti viene inoltrata a un operatore umano o a un modello più potente. Il punteggio calcola la media di questo rendimento su tutte le soglie possibili.
L’indice modifica anche le prove. AA-Paperclip (30% del totale), un dataset privato di 1.500 documenti (curriculum, ricevute e fatture, articoli di ricerca), richiede cinque decisioni e dieci estrazioni per documento; il documento è considerato corretto solo se tutte le 15 risposte lo sono. AA-Symmetry (15%) pone 120 domande sotto 440 forme equivalenti per verificare che un modello non cambi idea quando si riordinano le opzioni o si inverte una domanda sì/no. WildGuardTest, ritenuto saturo, è stato eliminato. Secondo Artificial Analysis, il 45% dell’indice si basa ora su dati privati, contro il 25% della v1, per limitare l’ottimizzazione mirata sui test pubblici.
Tre specialisti in un punto, due generalisti davanti
Tra i modelli decisionali, tre nomi si contendono la vetta in un solo punto: Drex Max v1.1 (Nace AI) e GLiDE v1.2 (Fastino Labs) a 73, Mammoth 27B (Base Labs) a 72. I grandi modelli linguistici, sollecitati per fornire anch’essi una probabilità per opzione, fanno meglio: Claude Haiku 5.5 (Max) a 77, GPT-6 Luna (Max) a 76.
Il divario si fa sentire altrove. Per un milione di task, GPT-6 Luna (Max) costa 1.530 $ e Claude Haiku 5.5 (Max) 6.240 $, contro i 102 $ di Drex Max v1.1 e i 14 $ di Celeris-1.1 Decision. Inoltre servono 11,34 s per task a Luna e 32,65 s ad Haiku, contro i 275 ms di Drex Max e i 56 ms di Celeris. Il prezzo per token non dice tutto: GLiDE v1.2 fattura il documento a ogni domanda, arrivando così a 780 $ per milione di task, quasi otto volte Drex Max a fronte di tariffe esposte superiori solo del 33%.
I limiti da tenere a mente
Le due versioni non sono confrontabili: punteggio, prove e ponderazioni sono cambiati. Una parte dell’indice dipende da altri modelli: su EvalSafe-O*NET-AA, che non dispone di una risposta esatta oggettiva, il riferimento è il consenso tra GPT-6 Astra e Claude Fable 5.1. Infine, sotto l’annuncio su LinkedIn, un commento scritto a nome del team di GLiDE afferma che esiste già una versione più potente di quella valutata, senza che questo sia stato verificato.
La nostra lettura
Per i team che orchestrano agenti, questa v2 misura finalmente ciò che conta in produzione: sapere quando un modello può decidere in autonomia e quando deve passare la mano. Il dato più eloquente non è la classifica ma il divario di costi e tempi: pochi punti di punteggio in più per i generalisti a fronte di fatture da quindici a sessanta volte più pesanti e risposte in secondi anziché in millisecondi. Per il routing o la selezione ad alti volumi, i piccoli modelli specializzati restano la scelta razionale; occorre tuttavia testarli sui propri dati, poiché un indice, seppur in parte privato, resta comunque espressione di un unico ente.
Fonti
- Artificial Analysis — Decision Index v2 (pagina dei risultati) Fonte primaria
- Artificial Analysis — metodologia del Decision Index Fonte primaria
- Artificial Analysis su X — annuncio del Decision Index v2 (8 novembre 2026) Fonte primaria
- Artificial Analysis su LinkedIn — Introducing the Artificial Analysis Decision Index v2 Fonte primaria
Una fonte primaria proviene direttamente dall'azienda, dal laboratorio o dall'ente interessato. Una fonte secondaria riporta l'informazione senza esserne l'autrice: la segnaliamo come tale. Un errore? Consulta la nostra politica di rettifica.
