Artificial Analysis Decision Index v2：判断モデルの評価に確信度が導入、Claude Haiku 5.5とGPT-6 Lunaが首位に

判断モデルは文章の作成を行わない。チケットのルーティング、履歴書の採否、ツールの呼び出しといったあらかじめ固定された選択肢の中から選び、1回の呼び出しでそれぞれに確率を割り当てる。Artificial Analysisは、これらモデルを対象とした指数の第2版を公開した。11月8日から9日にかけての夜間にXで告知された。最大の変更点は、スコアが正答率および確信度の両方を考慮するようになったことだ。

過信を罰するスコア体系

これまでは主に正答数のみが集計されていた。新しいDecision Scoreは、モデルがその回答に割り当てた確率も評価対象とする。正解には50〜100点、不正解には50〜0点が与えられる。つまり、高い確信度で正解すれば100点となるが、高い確信度で誤ると0点となる。評価方法の解説によれば、本番環境において回答が自動適用されるのは確信度が一定の閾値を超えた場合に限られ、下回れば人間やより高性能なモデルへエスカレーションされるためである。新スコアは、考えられるすべての閾値にわたるこの実効的な利得の平均を算出する。

指数の構成テストも刷新された。全体の30%を占めるAA-Paperclipは、履歴書、領収書や請求書、研究論文など1,500件の文書からなる非公開データセットであり、1文書につき5つの判断と10の抽出が求められる。この15問の回答すべてが正解して初めて、その文書は正解としてカウントされる。AA-Symmetry（15%）は、選択肢の順序変更やYes/Noの問いの反転など、120の質問を440通りの等価な形式で提示し、モデルの判断が揺らがないかを検証する。飽和したと判断されたWildGuardTestは除外された。公開テストへの過剰適合（過学習）を防ぐため、指数の45%が非公開データに基づく設計となり、v1の25%から引き上げられた。

1ポイント差で競り合う特化型3モデル、先行する汎用モデル

判断特化型モデルの部門では、3モデルが1ポイント差にひしめいている。Drex Max v1.1（Nace AI）とGLiDE v1.2（Fastino Labs）が73、Mammoth 27B（Base Labs）が72となった。選択肢ごとに確率を出力するよう促された大規模言語モデル（LLM）はさらに高いスコアを記録し、Claude Haiku 5.5 (Max)が77、GPT-6 Luna (Max)が76を記録した。

しかし、その性能差には相応の代償が伴う。100万タスクあたりのコストは、Drex Max v1.1が102ドル、Celeris-1.1 Decisionが14ドルであるのに対し、GPT-6 Luna (Max)は1,530ドル、Claude Haiku 5.5 (Max)は6,240ドルに達する。タスクあたりの所要時間も、Drex Maxの275ミリ秒、Celerisの56ミリ秒に対し、Lunaは11.34秒、Haikuは32.65秒を要する。トークン単価だけでは実態は見えない。GLiDE v1.2は質問ごとに文書全体を課金対象とするため、公表単価の差は33%にすぎないにもかかわらず、100万タスクあたりの実効コストは780ドルとDrex Maxの8倍近くに跳ね上がる。

留意すべき制約

採点基準、テスト内容、重み付けがすべて変更されたため、新旧両バージョンのスコアを比較することはできない。また、指数の一部は他のモデルに依存している。客観的な正解データが存在しないEvalSafe-O*NET-AAでは、GPT-6 AstraとClaude Fable 5.1の合意結果が正解基準とされている。さらに、LinkedInでの発表に対し、GLiDEチーム名義のコメントとして評価対象よりも強力な新版がすでに存在するという主張が投稿されているが、その信憑性は確認されていない。