Anthropic、不正利用検知に向けClaude自身に会話を評価させる仕組みを導入

Anthropicは10月29日木曜日19時22分（パリ時間）、「自己評価」（self-assessment）と呼ぶ監視技術を発表した。回答を終えた直後に、Claude自身が交わしたばかりの会話の安全性を評価する仕組みだ。この発表に合わせて同社の保護機能に特化した新ブログが開設された。Nicholas Carliniらが名を連ねる研究論文の日付は10月16日となっている。

仕組み

各回答の直後、非表示の短いプロンプトによってClaudeに対話の安全性についての検討が指示される。出力は固定フォーマットで行われ、問題なしとされるか、あるいはリスクカテゴリ（サイバー攻撃、兵器、児童保護など）、人的審査のための1〜10の優先度、拒否を実行したか否かのフラグ、そして1文の理由説明とともに報告される。この2ターンはユーザーには表示されず、その後の会話にも引き継がれない。

Anthropicによれば、この手法には2つの利点がある。第1にコストだ。会話はすでにメモリ上に展開されているため、評価に必要なのは1つの指示と平均10トークン程度にすぎない。同社の試算では計算コストの増加は2%未満にとどまり、顧客への追加請求も行っていないという。第2に汎用性である。固定されたリスクリストで訓練された分類器とは異なり、Claude自身の理解力に依拠するため、事前に検知対象として学習させていない不正利用も察知できる。Anthropicのテストでは、訓練データから特定のカテゴリ（詐欺やサイバー攻撃など）を丸ごと除外しても、そのカテゴリの検知精度はほとんど低下しなかったという。

Anthropicが報告した成果

この技術は6月のClaude Fable 5のリリース以降に登場したすべてのモデルで稼働しており、トラフィックの大部分においてパッシブ監視として機能している。フラグを立てるのみで、生成を遮断することはない。Fable 5では、Anthropicの基準分類器が悪影響を及ぼす可能性があると判定した会話の78%、優先度の高い事例の94%を1%の誤検知率で特定したという。ただし、これらの数値は同社独自のツールとの比較によるものであり、評価の有効性には一定の限界がある。

同社はいくつかの具体的な成果を挙げている。自己評価によって報告された組織の半数以上は、前月に他のシステムで一度も検知されていなかった。また8月には、単一のAPI顧客から寄せられた児童性的虐待に関連する10万件以上の報告を特定し、米国の管轄機関であるNCMECに通報した。9月には、Claude Codeを用いて構築された自動ロマンス詐欺を発見し、該当アカウントを停止した。報告の約3分の1は既存のカテゴリに当てはまらないもので、Claudeの思考プロセスの不正な蒸留の試み、プロンプトインジェクション、あるいはユーザーの許可を得ていないエージェント動作などが含まれていた。

想定される限界

Anthropicは、リアルタイムの遮断に用いる場合、自己評価の性能は脆弱であると率直に認めている。24種類のサイバー攻撃タスクを用いた社内テストでは、攻撃の成功率を79%から54%に引き下げるにとどまり、より高コストな独立した分類器（25%まで低下）に及ばなかった。自己評価を直接標的とする攻撃者であれば回避は容易であるとみられ、同社もリアルタイムフィルターを補完する用途にとどめている。また、訓練に使用した分類器の死角をそのまま引き継いでしまう点や、Claude自身の自律的なアクションを監視する上ではまだ信頼性が十分でない点も挙げられている。

プライバシー面について、Anthropicは追加のデータ収集は行っていないと強調する。理由説明のテキストには通常の会話と同じルールが適用され、データ不保持の合意を結んでいる顧客のトラフィックでは自己評価を実行していないという。