OpenAI、研究モデルの生成を35秒で遮断する中央集中型システム「Control Room」を導入

訓練中のモデルが予期せぬ不適切な動作を始めた場合、どう対処すべきか。OpenAIは11月9日、自社モデルを利用するすべての研究タスクを把握し、停止決定から最大35秒でその生成を遮断できる中央集中型サービスControl Roomを発表した。このシステムはすでに同社の研究インフラに配備されている。

推論層に組み込まれた停止スイッチ

この仕組みは3つの要素で構成されている。まずタスク（強化学習実験、評価、大規模なデータ処理など）は、開始時にControl Roomから識別子を要求する。エージェント的推論を伴う場合は、承認された安全性根拠資料（safety case）への紐付けが義務付けられる。次に、GPU上でモデルを実行する推論エンジンが、リクエストのたびにタスクの実行が継続して許可されているかをControl Roomに確認する。そして最後に、Control Roomサービスが稼働中および停止済みのタスクの台帳を管理する。

人間または監視システムが停止を命令すると、Control Roomはそのタスクに停止フラグを立てる。それ以降のリクエストはエンジンによって拒否される。研究プログラム自体の実行が継続していたとしても、要求するエンジンやモデルの種類にかかわらず、モデルからの出力は一切受け取れなくなる。

OpenAIはこのアーキテクチャの選択理由を説明している。実験コードは頻繁に変更され、個々の研究チームが所有しているため、安全上不可欠な保護機能を組み込む場所としては適していない。一方で、OpenAIの研究環境全体において推論コードの実行パスはごくわずかしか存在しない。この部分に安全装置を設けることで、すべての研究推論が確実に制御を通過するようにでき、Control Roomを経由せずに起動されたエンジンを検出するためのチェックも常時実行しているという。

35秒の猶予とデフォルトでのフェイルセーフ設計

35秒という遅延は、膨大なリクエスト量を処理するために必要な認可キャッシュ層に起因する。OpenAIはこの遅延をゼロに縮小する取り組みを進めている。なお、この数値は停止命令が出されてから実際に遮断されるまでの時間のみを指しており、問題を検知する時間は含まれていない。

システムはフェイルクローズ（安全側に倒れる設計）として構築されている。障害、無効化、妨害工作などによってControl Roomが停止した場合、サービスが復旧するまで推論エンジンはすべてのリクエストを拒否する。このモードは最先端モデルを扱うすべての研究タスクで有効化されており、数日以内にその他の研究タスクにも適用範囲が広げられる予定だ。またOpenAIは、最先端の強化学習タスクのすべてにおいて、訓練対象のモデルを観察し自ら停止を要求できる別のモデルであるモニターを常時稼働させているとも言及している。

なお、Control Roomは一般公開されているモデル（ChatGPTやAPI）を対象としたものではない。OpenAIによれば、これらの公開インフラはすでに集中管理されており、独自の迅速な停止手段が備わっているという。