SemiAnalysisの新テスト「GDPx」：首位のClaude Opus 5.5でも成功率はわずか12%

調査会社のSemiAnalysisは2026年11月2日、2025年9月にリリースされたOpenAIのテスト「GDPval」の後継を掲げるAIエージェント向けベンチマークGDPxを公開した。バージョン1.0の結果は、どのモデルも成功率が12%を超えないという厳格なものとなった。Claude Opus 5.5が12.0で首位となり、Gemini 4 Carbon（10.9）、GPT-6 Astra（9.6）がこれに続いた。

AIによる収益創出が期待される業務における206のタスク

GDPxには、11分野にわたる206のタスクが含まれる。SemiAnalysisによれば、AIによる最初の大規模な収益は、極めて高い投資対効果で最先端AIを活用できるセクターから生まれるという理由でこれらの分野が選定された。具体的には、半導体設計、サイバーセキュリティ、生物学、金融、法務、定量的トレーディング、再帰的自己改善、ハードウェア設計、材料科学、アライメント、ソフトウェア工学である。一般事務、不動産、保険などは意図的に除外されている。

GDPvalとの違いは環境にある。詳細な指示文と添付ファイルを与えるのではなく、各タスクはエージェントをシミュレートされた環境に配置する。例えば、金融では約4,000のファイルが存在する企業買収用データルーム、サイバーセキュリティでは未知の脆弱性を中心に構築され稼働中のITサービス、ハードウェア設計ではCADソフトウェアのセッションなどである。タスクは、AI研究所向けにトレーニング環境を構築している14の専門企業から提供された。各モデルにはタスクあたり最大8時間が与えられ、ネイティブ環境が存在する場合はその環境（Claude Code、Codex、Antigravity）で実行された。採用されたスコアは各分野均等の重み付けによる3回試行の平均pass@1である。

分野ごとに大きなばらつきがある順位表

2026年11月2日時点でGDPx公式サイトに掲載された総合リーダーボードの抜粋。

平均値の背景には、モデルごとの極めて「尖った」特性が存在する。SemiAnalysisによると、Opus 5.5は定量的トレーディング、ハードウェア設計、半導体設計で首位を獲得した。Gemini 4 Carbonは生物学と僅差でソフトウェア工学を制し、GPT-6 Astraは再帰的自己改善と材料科学でトップに立った。金融と法務ではタスクの難度が非常に高く、当初想定されていた二値評価ではほぼすべてのモデルが0点となったため、リーダーボードでは部分点方式のスコアが表示されている。

安全フィルターがもたらす歪み

SemiAnalysisは、Opus 5.5とGPT-6 Astraのスコアが自身の安全性分類器によってペナルティを受けていると指摘している。これらはサイバーセキュリティ、生物学、アライメントにおいて過剰に作動することがある。そのため同社は、これら3分野を除外した第2のランキングも公開した。また同社は、サイバーセキュリティにおいて現在利用可能な最良のモデルはMuse Wonder Fullであると評価しており、生物学におけるGemini 4 Carbonの勝利はおそらくフィルターが緩やかであることに起因すると分析している。10月下旬に限定アクセスとして発表されたGemini 4 Carbonは、まだ一般ユーザーには提供されていない。