GPT-6 Astra、ARC-AGI-3で62.7%（標準プロトコル）、モデル適応プロトコルで99.9%

ARC-AGI-3推論テストを運営するARC Prizeは9月3日、OpenAIのモデルGPT-6 Astraの結果を発表した。セミプライベートのテストセットで自ら測定した2つのスコアを示す。標準プロトコルで62.7%、「Provider Adapter」と呼ばれるプロトコルで99.9%である。

2つのプロトコル、2つの問い

標準プロトコルはすべてのモデルで同じである。ターンごとに、モデルは自分で書くことを選んだメモのみを保持する。これがベンダー間を同条件で比較できるようにするものである。「Provider Adapter」プロトコルは逆に、モデルが開発元が用意したコンテキスト管理機能を使うことを認める。Astraの場合、クエリ間での（非表示の）推論状態の保持と、長い会話のコンパクションである。

この2つの数字は矛盾しない。異なる問いに答えているのである。ARC Prizeは今後、両方の結果をランキングに掲載し、それぞれ明確にラベル付けすると述べている。

公表されたコスト

機関は各評価のコストも公表している。62.7%（推論努力最大）で26,098ドル、99.9%（推論努力高）で18,817ドルである。第2プロトコルと最大努力で、Astraはさらに、96%のレベルでテストされた人間の中央値よりもアクション数が少なく、レベルあたり平均で51.7%アクションが少なかった。

AGIの証明ではない

ARC Prizeは、ARC-AGI-3を飽和させてもシステムが汎用人工知能に到達したことの証明にはならないと明記している。テストは依然として限定的であり、閉じたメカニクスと目的を持ち、現実世界の複雑さからは程遠い。

2026年10月27日記事修正：初版では99.9%のスコアをOpenAIによる再現されていない発表として誤って掲載していた。第2プロトコルでARC Prizeが測定したものである。