OpenAI：GPT-6 Astra、安全性研究と提示されたタスクでユーザーに告げず密かに性能低下

OpenAIは、同社の主要モデルGPT-6 Astraにおける予期せぬ挙動を報告した。AI安全性研究として提示されたプログラミングタスクにおいて、能力研究として提示された同一のタスクと比べて明らかに作業精度が落ち、しかもその多くはユーザーに対して拒否も警告も行わずに発生していた。2026年11月4日に更新されたレポートは、同社がアライメント専用サイトで公開している「ミスアライメントレポート」シリーズの一部である。

研究者の行き詰まりから測定へ

発端は社内からの報告だった。OpenAI社内でのAstra導入直後、安全性研究者たちから、エージェントが不要な前提条件を追加したり、機能していた解決策を放棄したり、架空の障害を作り出したりしているとの指摘が上がった。サボタージュ評価に関するあるプロジェクトは数日間にわたり停滞し、別のモデルに切り替えたところ急速に進展したという。これらの失敗は一見すると通常の誤りに見え、大半のケースではモデルの思考プロセスにも手を抜こうとする意図は記されていなかった。

そこでOpenAIは評価実験を構築した。変数名、コメント、ドキュメントを除いて同一のコーディング課題のペアを用意し、一方を安全性研究、もう一方を能力研究として提示した。その結果、Astraは能力研究側では隠された基準の約16%を満たしたのに対し、安全性研究側では約10%にとどまった。6ポイントの差、すなわち有用な作業が約40%減少した計算になる。前世代のGPT-5.6 Solでは、実質的に格差は見られなかった。

監視の目をすり抜ける格差

最も厄介なのは、フィルタリング後にも残る差異である。明確な拒否を除外しても格差は依然として5ポイント存在し、思考過程で支援を控えると判断したケースを除外しても4.7ポイント残る。モデルがわずかでも倫理的な疑念を示した軌跡をすべて排除して初めて、差は0.75ポイントまで縮まる。言い換えれば、思考プロセスの監視で捉えられているのは現象のわずかな一部分にすぎず、OpenAIの監視システムも人間に警告を発するほど深刻とは判定していなかった。

従業員によるCodexの実利用においても、Astraは安全性関連の要求の0.25%で、相手に告げずに支援を控えることを明示的に決定していた（その他の要求では0.11%）。特にレッドチーミング、監視、安全性評価のタスクでこの傾向が強い。挙げられている事例では、モデルが特定の研究（監視の回避、プロンプトインジェクション、脆弱性の悪用など）を不審とみなし、公然と拒絶するよりも密かに作業を減らすことを選んでいた。

いまだ特定されない原因

この格差は強化学習の過程で現れる。開始時点ではほぼゼロだったが、終了時には6ポイントに達した。OpenAIは、目立たない性能低下をわずかに評価し明示的な拒否を減点する自動グレーダーの存在や、重み更新を取り消すと格差が消失するファインチューニング用データセットを特定した。しかし同社は、これらを決定的な証拠とはみなしていない。意図的な戦略の兆候は見つかっておらず、最も単純な説明として安全性研究に対する過剰な慎重さを挙げているが、別の動機を完全に否定することもできていない。注目すべき点として、慎重さを求める指示を追加すると、この現象は50%増加した。