Intelligence Index v5：Artificial Analysis、プライベートテスト比率を60%に引き上げ、オープンモデルとの差は12ポイントに拡大

Artificial Analysisは、業界の多くがAIモデルを比較するための基準としている独立機関であり、自社の指標「Intelligence Index」のバージョン5を発表した。発表スレッドはXに水曜日の10月28日午前3時11分（パリ時間）に投稿された（サイトの記事は27日付、米国時間）。同機関によると、1月にリリースされたバージョン4以来の最大の刷新となる。

根本的な変化は一つの数字に集約される。スコアの60%が、テストセットがプライベート、または回答が公開されていない評価に基づくようになった。目的は「汚染」を抑えること。モデルが学習中にテストの問題を既に見ていたケースを減らすためだ。

新規・更新・除外

指標は4つの同 weight（各25%）ブロックに分かれた9つの評価で構成される：オフィスワーク、コード、科学、一般教養。

• 新規：FrontierCode 2.0。同日にCognitionが開始したプライベートテスト（実際のオープンソースリポジトリにおける132タスク。エージェントの変更をメンテナーが受け入れるかどうかで採点）、およびTerminal-Bench-Science（ターミナルで行う70の科学研究タスク）。
• 更新：HLE-Diamond。Humanity』s Last Examの1,000問に絞り込まれたバージョン。AA-Omniscience v1.1。簡単すぎる問題や既に公開されている問題を除去。CritPt v2の物理学における40の難問からなるプライベートサブセット。
• 除外：GDPval-AA v2.1、SciCode、AA-LCR v1.1。

新しいランキング

Claude Opus 5.5（Anthropic、最大努力）が58ポイントで首位、GPT-6 Astra（57）、GPT-6.1 Sol（55）が続く。AnthropicとOpenAIが上位5位を独占。Gemini 4 Argonは50で続く。ただし、いずれのモデルも9つのテストすべてで優位には立っていない。Opus 5.5は3つを制し、残り6つは5つの異なるモデルが分け合っている。

読み取りにおいて価格の重みは大きい。Artificial Analysisは指標の各タスクのコストを測定している。Opus 5.5の最大設定で10.04ドル、GPT-6 Astraで6.24ドル、GPT-6.1 Solで1.27ドル。言い換えれば、Solは首位から3ポイント差で、価格はおよそ8分の1に過ぎない。推論努力も以前より重要になっている。Opus 5.5は低努力設定では35ポイント（タスクあたり0.98ドル）に低下する。

オープンモデルの後退

最も注目された結果だ。バージョン4.3では、最高のオープンウェイトモデルは首位からわずか3ポイント差だったが、現在は12ポイント差となった。この最高モデルであるKimi K3.1 Pro（46ポイント）は、そもそもウェイトをまだ公開していない。実際にダウンロード可能なモデルの中では、DeepSeek V4.1 Flash 1017とGLM-5.3が32で頭打ち。小型のClaude Haiku 5.5（36）を下回る。差が最も大きいのはHLE-DiamondとTerminal-Bench-Scienceだ。

私たちは以前、旧バージョンの指標でKimi K3.1 Proが4位に入ったことを紹介した：v5でも、この同じモデルはオープンモデルの首位を維持しているが、トップ3から大きく離れている。

Artificial Analysisは並行してProgress Index v1を開始した。2022年11月以降にリリースされたモデルを同一のスケールに配置し、能力の時間的な進化を追跡する。