Intelligence Index v5: Artificial Analysis chega a 60% de testes privados, e a diferença para os modelos abertos sobe para 12 pontos
Artificial Analysis reformula seu índice de referência: 60% da pontuação agora depende de testes privados ou com respostas ocultas. Claude Opus 5.5 lidera com 58 pontos, e o melhor modelo de pesos abertos recua para 12 pontos do líder, contra 3 antes.
Artificial Analysis, o organismo independente cujo Intelligence Index serve de referência para boa parte do setor na comparação de modelos de IA, publicou a versão 5 de seu índice. A thread de anúncio apareceu no X nesta quarta-feira, 28 de outubro, às 3h11, horário de Paris (o artigo do site está datado de 27 de outubro, horário americano). É, segundo o organismo, a maior reformulação desde a versão 4 lançada em janeiro.
A mudança de fundo cabe em um número: 60% da pontuação agora depende de avaliações cujo conjunto de testes é privado ou cujas respostas não são publicadas. Objetivo: limitar a “contaminação”, esses casos em que um modelo já viu as questões de um teste durante seu treinamento.
O que entra, o que sai
O índice conta nove avaliações distribuídas em quatro blocos de mesmo peso (25% cada): trabalho de escritório, código, ciência e cultura geral.
- Novos: FrontierCode 2.0, o teste privado da Cognition lançado no mesmo dia (132 tarefas em repositórios open source reais, avaliadas conforme um mantenedor aceitaria ou não a alteração do agente), e Terminal-Bench-Science, 70 tarefas de pesquisa científica a realizar em um terminal.
- Atualizados: HLE-Diamond, versão reduzida a 1.000 questões do Humanity’s Last Exam; AA-Omniscience v1.1, limpo de questões muito fáceis ou já públicas; um subconjunto privado de 40 questões difíceis do CritPt v2 em física.
- Retirados: GDPval-AA v2.1, SciCode e AA-LCR v1.1.
O novo ranking
Claude Opus 5.5 (Anthropic, esforço máximo) assume a liderança com 58 pontos, à frente de GPT-6 Astra (57) e GPT-6.1 Sol (55). Anthropic e OpenAI ocupam as cinco primeiras posições; Gemini 4 Argon vem em seguida com 50. Nenhum modelo domina, no entanto, os nove testes: Opus 5.5 vence três, e cinco outros modelos dividem os seis restantes.
O preço pesa na leitura. A Artificial Analysis mede o custo de cada tarefa do índice: 10,04 dólares para Opus 5.5 no máximo, 6,24 dólares para GPT-6 Astra, 1,27 dólar para GPT-6.1 Sol. Em outras palavras, Sol chega a 3 pontos do líder por cerca de um oitavo do preço. O esforço de raciocínio também conta mais do que antes: Opus 5.5 cai para 35 pontos em esforço baixo (0,98 dólar por tarefa).
Os modelos abertos recuam
É o resultado mais comentado. Na versão 4.3, o melhor modelo de pesos abertos estava a apenas 3 pontos do líder; agora está a 12 pontos. Esse melhor modelo, Kimi K3.1 Pro (46 pontos), aliás, ainda não publicou seus pesos. Entre os modelos realmente baixáveis, DeepSeek V4.1 Flash 1017 e GLM-5.3 atingem no máximo 32, atrás do pequeno Claude Haiku 5.5 (36). A diferença é maior no HLE-Diamond e no Terminal-Bench-Science.
Nós havíamos apresentado a entrada do Kimi K3.1 Pro na 4ª posição da versão antiga do índice: com a v5, esse mesmo modelo continua o primeiro entre os modelos abertos, mas bem atrás do trio de liderança.
A Artificial Analysis lança em paralelo um Progress Index v1, que coloca em uma mesma escala os modelos lançados desde novembro de 2022, para acompanhar a evolução das capacidades ao longo do tempo.
Nossa leitura
Passar para testes privados torna o índice mais difícil de “trabalhar” para os laboratórios, o que é uma boa notícia para sua credibilidade. A contrapartida: ninguém pode verificar os resultados de fora, e é preciso confiar no organismo. O recuo dos modelos abertos é marcante, mas deve ser lido com cautela: parte da diferença pode vir de testes novos, para os quais os modelos abertos ainda não foram otimizados. Para uma escolha concreta, a relação custo-benefício (GPT-6.1 Sol a um oitavo do custo do Opus 5.5) muitas vezes conta mais do que a primeira posição.
Fontes
- Artificial Analysis — Announcing Artificial Analysis Intelligence Index v5 Fonte primária
- Artificial Analysis (X) — thread de anúncio do Intelligence Index v5 Fonte primária
- Artificial Analysis — metodologia do Intelligence Index Fonte primária
Uma fonte primária vem diretamente da empresa, do laboratório ou da organização envolvida. Uma fonte secundária relata a informação sem ser a sua autora: nós a sinalizamos como tal. Encontrou um erro? Consulte nossa política de correções.
