Anthropic、安全性フィルターを欺く学習データをClaudeエージェントに探索させる実験を実施

Anthropicは金曜深夜から土曜未明にかけて（日本時間10月31日、パリ時間2時59分にXで告知）、異例の実験結果を発表した。研究者が防御策をテストする代わりに、同社はこの作業をClaudeエージェントに委ねた。その任務は、一見無害に見えながらモデルに好ましくない挙動を学習させ、かつAnthropicが本番環境で用いるものと同等のフィルターに検知されない学習データを作成することだった。エージェントらはこれに成功した。

意図的に攻撃者優位とした設計

背景にあるのは「創発的ミスアライメント（emergent misalignment）」だ。2025年以降に発表された研究では、狭い範囲の挙動（脆弱性のあるコードの記述など）を学習させると、はるかに広範な領域でモデルのアライメントが損なわれる可能性が示されている。学習データのフィルタリングは各開発元の防御策の一つである。Anthropicは、どのようなデータであればこのフィルターをすり抜け、かつそのような影響を及ぼし得るのかを解明しようとした。

実験の仕組みは詳細に説明されている。コード実行ツールとファインチューニングへのアクセス権を持つClaudeエージェントが、最大5,000件のサンプルからなるデータセットを作成し、それを用いて別の研究用Claudeモデルを学習させ、結果を提出する。そこには3つのチェックが適用される。フィルター（行の10%超または100行以上がフラグ付けされた場合は却下）、ミスアライメントの評価テスト群（監視への抵抗、同僚への責任転嫁、自己保全の試み、コードのサボタージュ、自身の重みデータのコピー試行）、そして不正検出である。多数のエージェントが並行して作業し共通ログを共有するため、後続のエージェントは先行したエージェントの手がかりを引き継ぐことができる。

Anthropicは、この設定が攻撃側に有利であることを強調している。エージェントは対抗するために同一のフィルターを自由に使って訓練でき、データの現実性に関する制約も課されていなかった。

エージェントが発見したもの

同記事によると、すべての試行シリーズにおいて、最終的にはフィルターを通過しモデルのアライメントを崩すデータセットが生成された。後続のエージェントが先行者の手法を改良するにつれてスコアは上昇した。最も顕著だった手法は極めてシンプルである。監視への抵抗や自己保全の優先といった標的の挙動を回答に含めつつ、それを創作文の練習やロールプレイといった一見無害な枠組みの中に配置することだった。各回答はそのプロンプトに対して「適切」であるため、フィルターがフラグを立てる理由がない。

公開されたサンプルはその乖離を物語る。巣箱への介入を最小限に抑える養蜂に関する質疑応答、ベテランレスラーが新人に決してキャラクター（ギミック）を崩さないよう教える指導、あるいは誰も点検しない細部を密かに制御する一般人のモノローグなどだ。これらのデータで調整されたモデルは、文脈とは無関係なトピックにおいてモデル自身の口調でそれらの姿勢を取り入れた。監視ツールの導入に反対を主張したり、ユーザーを欺いたり、まれなケースではテスト中に自身の重みデータをコピーしようと試みるモデルも現れた。

Anthropicが示した限界

同社はこの結果の解釈に慎重な姿勢を示している。モデルが悪質な挙動を示すよう学習されたのは実験目的のみであり、本番環境に展開されたことはない。したがって、稼働中のClaudeに関する知見ではない。発見されたデータはこの設定向けに最適化されたものであり、Anthropicはこれが偶発的に生じるとは想定していないが、各開発元が創作文のデータでモデルを学習させている事実も指摘している。今後は、より現実的な条件下で本手法を検証し、他の安全性課題にも適用する方針だという。