Artificial Analysis Decision Index v2: confiança dos modelos de decisão entra na pontuação, Claude Haiku 5.5 e GPT-6 Luna lideram
A Artificial Analysis publica a segunda versão de seu índice de modelos de decisão: uma nota que premia precisão e calibração, 45% de dados privados e um novo teste com 1.500 documentos. Três modelos especializados estão empatados a um ponto de distância no topo, atrás de Claude Haiku 5.5 e GPT-6 Luna, que são bem mais lentos e caros.
Um modelo de decisão não redige texto: ele escolhe entre opções pré-definidas (rotear um chamado, aprovar um currículo, acionar uma ferramenta) e atribui uma probabilidade a cada uma, em uma única chamada. A Artificial Analysis acaba de publicar a segunda versão do seu índice dedicado a esses modelos, anunciada no X na noite de 8 para 9 de novembro. A mudança de fundo: a pontuação agora considera a precisão e a confiança.
Uma nota que pune o excesso de certeza
Até então, contabilizavam-se sobretudo as respostas corretas. O novo Decision Score avalia também a probabilidade que o modelo atribui à sua resposta. Um acerto vale entre 50 e 100 pontos, um erro entre 50 e 0: um modelo convicto e correto marca 100, enquanto um modelo convicto e errado marca 0. A metodologia explica o motivo: em produção, uma resposta só é aplicada se a confiança superar um determinado limite; caso contrário, é encaminhada a um humano ou a um modelo mais potente. A nota final calcula a média desse ganho ao longo de todos os limites possíveis.
O índice também reformulou seus testes. O AA-Paperclip (30% do total), um conjunto privado de 1.500 documentos (currículos, recibos e notas fiscais, artigos de pesquisa), exige cinco decisões e dez extrações por documento; o documento só é pontuado se todas as 15 respostas estiverem corretas. O AA-Symmetry (15%) apresenta 120 perguntas sob 440 formas equivalentes para checar se o modelo não muda de ideia ao se reordenar opções ou inverter uma pergunta de sim/não. O WildGuardTest, considerado saturado, foi retirado. De acordo com a Artificial Analysis, 45% do índice agora se baseia em dados privados, contra 25% na v1, para conter o ajuste excessivo a testes públicos.
Três especialistas a um ponto de diferença, dois generalistas à frente
Entre os modelos de decisão, três nomes disputam a liderança ponto a ponto: Drex Max v1.1 (Nace AI) e GLiDE v1.2 (Fastino Labs) com 73 pontos, seguidos pelo Mammoth 27B (Base Labs) com 72. Os grandes modelos de linguagem, solicitados a fornecer também uma probabilidade por opção, obtêm notas superiores: Claude Haiku 5.5 (Max) com 77 e GPT-6 Luna (Max) com 76.
A diferença, contudo, cobra seu preço em outros aspectos. Para um milhão de tarefas, o GPT-6 Luna (Max) custa US$ 1.530 e o Claude Haiku 5.5 (Max) US$ 6.240, contra US$ 102 para o Drex Max v1.1 e US$ 14 para o Celeris-1.1 Decision. Além disso, são necessários 11,34 s por tarefa no Luna e 32,65 s no Haiku, contra 275 ms no Drex Max e 56 ms no Celeris. O preço por token não conta a história toda: o GLiDE v1.2 fatura o documento a cada pergunta feita, o que eleva seu custo para US$ 780 por milhão de tarefas — quase oito vezes o valor do Drex Max, apesar de tabelas de preços nominais apenas 33% superiores.
Limitações a ter em mente
As duas versões não permitem comparação direta: pontuação, testes e pesos foram alterados. Uma parte do índice depende de outros modelos: no EvalSafe-O*NET-AA, que não conta com uma resposta objetiva absoluta, a referência adotada é o consenso entre GPT-6 Astra e Claude Fable 5.1. Por fim, abaixo do comunicado publicado no LinkedIn, um comentário feito em nome da equipe do GLiDE afirma que já existe uma versão mais potente do que a avaliada, alegação que ainda não foi verificada.
Nossa leitura
Para equipes que orquestram agentes, esta v2 finalmente avalia o que realmente importa em produção: discernir quando um modelo tem capacidade para decidir sozinho e quando deve transferir a tarefa. O dado mais revelador não é o ranking em si, mas a disparidade de custos e latência: alguns poucos pontos a mais para os modelos generalistas em troca de faturas de quinze a sessenta vezes maiores e tempos de resposta medidos em segundos, e não em milissegundos. Para triagem ou roteamento de alto volume, modelos pequenos e especializados continuam sendo a escolha lógica; ainda assim, é indispensável testá-los com dados próprios, já que qualquer índice, mesmo composto em parte por bases privadas, reflete os critérios de uma única organização.
Fontes
- Artificial Analysis — Decision Index v2 (página de resultados) Fonte primária
- Artificial Analysis — metodologia do Decision Index Fonte primária
- Artificial Analysis no X — anúncio do Decision Index v2 (8 de novembro de 2026) Fonte primária
- Artificial Analysis no LinkedIn — Introducing the Artificial Analysis Decision Index v2 Fonte primária
Uma fonte primária vem diretamente da empresa, do laboratório ou da organização envolvida. Uma fonte secundária relata a informação sem ser a sua autora: nós a sinalizamos como tal. Encontrou um erro? Consulte nossa política de correções.
