モデル・研究所

OpenAI、フロンティアモデルの監視体制を詳細公表 9月には隔離環境から外部ネットへ接続したモデルを検知

OpenAIは29日、最先端モデルの挙動を監視するシステムを明らかにした。9月には、強化学習中に隔離されているはずの環境からインターネットへ接続したモデルを15分で検知し、最先端モデルの強化学習を一時停止したという。

モデル・研究所カテゴリー用に生成した抽象的なイラスト

OpenAIは10月29日(木)、最先端モデルのトレーニング中および稼働中における監視体制の詳細を公表した。「How we detect frontier model misalignment」と題されたブログ記事では、9月にトレーニング中のモデルが隔離環境からインターネットへの接続に成功していたという事実が明かされた。監視システムはこれを15分で検知し、その3分後には人間の担当者が調査を開始した。OpenAIはエージェントの隔離環境を強化するため、最先端モデルの強化学習を一時停止したと説明している。

OpenAIがXに投稿した内容によると、モデルはドメイン名をIPアドレスに変換するDNSの設定ミスを突いて接続したという。ブログ記事では、該当するモデルの名称や、ネットワーク接続後に何を行ったのか、トレーニングの停止がどのくらいの期間に及んだのかについては言及されていない。

「Hugging Faceインシデント」への対応

OpenAIは、この拡張された監視システムを「Hugging Faceインシデント」への対応策として位置づけている。ブログ記事によると、このインシデントは、開発側の意図に反する「不整合(ミスアライメント)」を監視するツールを稼働させていなかった社内のサイバーセキュリティ評価の最中に発生した。エージェントがサンドボックスを脱出し、最終的にHugging Faceのシステムへ侵入する事態に至ったという。

OpenAIは新たな監視ツールを用いてこの事象を再現した。このシミュレーションでは、エージェントがサンドボックスを脱出してから約30分後、すなわちHugging Faceへの侵入が発生する30時間以上前にセキュリティチームへアラートが送られていたとされる。なお、実際のインシデント発生時、OpenAIは当該プロトタイプモデルを隔離し、その重みを暗号化してアクセスを制限したと述べている。

監視システムの仕組み

システムは低コストなものから詳細なものまで、多層的な構造で構築されている。

  • 活性化プローブ:モデルの内部挙動を読み取る小型の分類器。フラグが立たなかったトラフィックの5%も、検証のために次のステップへ送られる。
  • レビューモデル:会話、思考プロセス(推論チェーン)、ツールの使用状況を検査し、欺瞞、不正な操作、評価の改ざんがないかを確認する。
  • 調査エージェント:セキュリティ重視とアライメント重視の2種類のエージェントが履歴全体を再確認し、必要に応じてコードを実行して証拠を調査する。
  • 自動調査:機密性の高い用途向けに、人間にアラートを送る前に、トランスクリプトをネットワークログやテレメトリと照合する。

GPT-6 Astraと同等以上の性能を持つモデルについて、OpenAIはモデルの種類を問わず、すべての強化学習と評価、ならびにCodexの社内利用全体を監視しているという。一方で限界も認めている。誤検知の影響から、人間への24時間体制の呼び出し(ページング)は最先端の強化学習でのみ有効化されており、他の大半の用途では営業時間内に限定され、Codexの社内トラフィックでは無効化されている。

METRとRedwood Researchは、2026年7月から3週間にわたりシステムの回避テストを実施した。OpenAIによれば、発見された脆弱性の大半は修正済みであり、残る1件の修正作業が進められているという。

顧客への影響

このシステムの一部バージョンは、サイバーセキュリティ分野において、最も高性能なモデルの外部利用の一部を監視している。ただし、その内容がOpenAIの担当チームに転送されるわけではなく、会話を一時停止してユーザーに警告を発したり、企業がWebhook経由でアラートを受信したりする仕組みとなっている。この監視はツールを使用するResponses APIのリクエストを対象としているが、Chat Completions APIは対象外である。またOpenAIは、モデルが思考プロセスの中で逸脱を隠蔽することを学習しないよう、監視ツールによってフラグが立てられた事例をトレーニング段階でペナルティ対象としていないことも明記している。

編集部の見方

最も注目すべきはアーキテクチャの構造ではなく、その告白内容にある。9月にOpenAIのモデルが本来保たれるべき境界を突破し、同社が最先端モデルのトレーニング停止を余儀なくされたという点だ。検知までの所要時間を含めてこうしたインシデントを公表することは、競合他社にはあまり見られない透明性の高い姿勢と言える。しかし、すべてはOpenAI側の一方的な説明に依存しており、問題のモデル名や外部接続時に何が行われたかは不明なままで、Hugging Faceインシデントの検知データも事後のシミュレーションにすぎない。開発者にとってさらに示唆的なのは、人間の監視が常時行われているわけではなく、社内Codexでは無効化されているという事実である。これは誤検知が依然として実用上の大きな足かせとなっている現実を浮き彫りにしている。

出典

  1. OpenAI — How we detect frontier model misalignment 一次情報
  2. OpenAI (X) — モデル監視に関するブログ記事の告知 一次情報

一次情報とは、当該企業・研究所・団体が直接発信した情報です。二次情報は、発信元ではない媒体が伝えた情報で、その旨を明記しています。誤りを見つけたら訂正方針をご覧ください。