Anthropic lässt jede Unterhaltung von Claude selbst bewerten, um Missbrauch aufzudecken

Anthropic hat am Donnerstag, den 29. Oktober, um 19:22 Uhr Pariser Zeit, ein Überwachungsverfahren vorgestellt, das der Anbieter als „Selbstbewertung“ (self-assessment) bezeichnet: Unmittelbar nach der Antwort bewertet Claude selbst die Sicherheit der soeben geführten Unterhaltung. Die Ankündigung markiert den Start eines neuen Blogs, der den Schutzmaßnahmen des Unternehmens gewidmet ist; das Forschungspapier, das unter anderem von Nicholas Carlini unterzeichnet wurde, datiert vom 16. Oktober.

Wie es funktioniert

Nach jeder Antwort fordert eine kurze, unsichtbare Instruktion Claude dazu auf, über die Sicherheit des Austauschs nachzudenken. Das Modell antwortet in einem vorgegebenen Format: unauffällig oder aber eine Meldung mit der Risikokategorie (Cyberangriff, Waffen, Kinderschutz …), einer Priorität von 1 bis 10 für die menschliche Überprüfung, der Angabe, ob eine Verweigerung stattfand, und einem kurzen Begründungssatz. Diese beiden Schritte sind für den Nutzer nicht sichtbar und werden nicht in den weiteren Verlauf der Unterhaltung übernommen.

Der Vorteil ist laut Anthropic zweifach. Zunächst die Kosten: Die Unterhaltung befindet sich bereits im Arbeitsspeicher, die Bewertung erfordert im Schnitt lediglich eine Instruktion und etwa zehn Tokens – was nach Schätzung des Anbieters weniger als 2 Prozent zusätzliche Rechenleistung ausmacht, Kosten, die Kunden laut Anthropic nicht in Rechnung gestellt werden. Hinzu kommt die Generalisierung: Anders als ein Klassifikator, der auf eine feste Liste von Risiken trainiert wurde, greift Claude auf sein eigenes Verständnis zurück und erkennt auch Missbrauchsmuster, nach denen zu suchen das Modell nicht explizit trainiert wurde. Das Entfernen einer gesamten Kategorie (wie Betrug oder Cyberangriffe) aus dem Training verringert die Erkennungsrate in dieser Kategorie laut den Tests von Anthropic kaum.

Was Anthropic nach eigenen Angaben entdeckt hat

Das Verfahren läuft seit der Veröffentlichung von Claude Fable 5 im Juni auf allen seither erschienenen Modellen und auf einem Großteil des Datenverkehrs als passive Überwachung: Es schlägt Alarm, blockiert aber nicht. Bei Fable 5 soll es 78 Prozent der Unterhaltungen erkennen, die vom Referenz-Klassifikator von Anthropic als potenziell schädlich eingestuft wurden, sowie 94 Prozent der prioritären Fälle bei 1 Prozent Fehlalarmen. Diese Zahlen werden von Anthropic im Vergleich zum eigenen Werkzeug gemessen, was ihre Aussagekraft einschränkt.

Das Unternehmen nennt mehrere konkrete Ergebnisse: Mehr als die Hälfte der Organisationen, die durch die Selbstbewertung gemeldet wurden, waren im Vormonat von keinem anderen System erfasst worden. Im August stammten mehr als 100.000 Meldungen im Zusammenhang mit sexuellem Missbrauch von Minderjährigen von einem einzigen API-Kunden – ein Fall, der an die zuständige US-Organisation NCMEC weitergeleitet wurde. Im September half das Tool dabei, einen automatisierten Romance-Scam aufzudecken, der mit Claude Code aufgebaut worden war; die entsprechenden Konten wurden gesperrt. Rund ein Drittel der Meldungen fällt in keine bestehende Kategorie: Dazu gehören Versuche zur unerlaubten Destillation von Claudes logischen Schlussfolgerungen, Prompt-Injektionen oder Agentenaktionen, die vom Nutzer nicht autorisiert wurden.

Bewusste Grenzen

Anthropic stellt einen Punkt klar heraus: Beim Einsatz zum direkten Blockieren ist die Selbstbewertung schwach. In einem internen Test mit 24 Cyberangriffs-Aufgaben senkte sie die Erfolgsquote von Angriffen lediglich von 79 Prozent auf 54 Prozent, verglichen mit 25 Prozent bei einem separaten, kostspieligeren Klassifikator. Ein Angreifer, der gezielt dagegen vorginge, könnte das System vermutlich umgehen, räumt das Unternehmen ein, das die Methode daher nur ergänzend zu seinen Echtzeitfiltern einsetzt. Anthropic weist zudem darauf hin, dass das Werkzeug die toten Winkel des für sein Training genutzten Klassifikators erbt und bei der Überwachung von Claudes eigenen Aktionen noch nicht zuverlässig ist.

In puncto Datenschutz versichert Anthropic, keine zusätzlichen Daten zu erfassen. Für den Begründungssatz gelten dieselben Regeln wie für die Unterhaltungen selbst, und die Selbstbewertung wird nicht auf den Datenverkehr von Kunden angewendet, die eine Vereinbarung zur Nicht-Speicherung von Daten haben.