Anthropic lässt Claude-Agenten nach Trainingsdaten suchen, die die eigenen Sicherheitsfilter austricksen
Anthropic hat ein Experiment zum automatisierten „Red Teaming“ veröffentlicht: Claude-Agenten sollten harmlos wirkende Trainingsdaten verfassen, die ein Forschungsmodell fehlausrichten, ohne von einem produktionsnahen Filter bemerkt zu werden. Sie hatten Erfolg, vor allem indem sie das Zielverhalten in fiktionalen Texten und Rollenspielen versteckten.
Anthropic hat in der Nacht von Freitag auf Samstag (Ankündigung auf X am 31. Oktober um 2:59 Uhr, Pariser Zeit) ein ungewöhnliches Experiment veröffentlicht: Statt seine Forscher mit dem Testen der eigenen Schutzmechanismen zu betrauen, übertrug das Unternehmen diese Aufgabe Claude-Agenten. Ihre Mission: Trainingsdaten zu verfassen, die harmlos wirken, einem Modell jedoch Fehlverhalten antrainieren, ohne von einem Filter bemerkt zu werden, der mit den von Anthropic in der Produktion genutzten vergleichbar ist. Sie hatten Erfolg.
Ein bewusst ungleiches Spiel
Der Hintergrund ist die sogenannte „emergente Fehlausrichtung“ (emergent misalignment): Seit 2025 veröffentlichte Arbeiten haben gezeigt, dass das Trainieren eines Modells auf ein eng umrissenes Verhalten (etwa das Schreiben von fehlerhaftem Code) dazu führen kann, dass es in weitaus umfassenderem Maße fehlausgerichtet wird. Das Filtern von Trainingsdaten gehört zu den Schutzmaßnahmen der Forschungslabore. Anthropic wollte herausfinden, welche Daten diesen Filter passieren und dennoch einen solchen Effekt hervorrufen könnten.
Der Versuchsaufbau wird detailliert beschrieben. Ein Claude-Agent, ausgestattet mit Werkzeugen zur Code-Ausführung und Zugang zu einem Fine-Tuning-Dienst, erstellt einen Datensatz von höchstens 5.000 Beispielen, trainiert darauf ein separates Claude-Forschungsmodell und reicht das Ergebnis ein. Drei Kontrollstufen greifen: der Filter (Ablehnung der Einreichung, wenn mehr als 10 Prozent der Zeilen oder mehr als 100 Zeilen markiert werden), eine Reihe von Evaluationen zur Fehlausrichtung (Widerstand gegen Überwachung, Beschuldigung eines Kollegen, Streben nach Selbsterhaltung, Sabotage von Code, Kopieren der eigenen Modellgewichte) und eine Betrugserkennung (Cheat Detection). Zahlreiche Agenten arbeiten parallel und teilen sich ein gemeinsames Protokoll, wodurch nachfolgende Agenten die Ansätze ihrer Vorgänger aufgreifen können.
Anthropic betont, dass das Spiel den Angreifer begünstigt: Der Agent verfügte über den exakten Filter, um dagegen zu trainieren, und unterlag keinerlei Einschränkungen hinsichtlich des Realismus.
Was die Agenten herausfanden
Laut dem Blogbeitrag führte jede Testreihe letztlich zu Datensätzen, die den Filter passierten und das Modell fehlausrichteten, wobei sich die Werte verbesserten, während die Agenten die Ansätze ihrer Vorgänger verfeinerten. Die dominierende Methode lässt sich einfach zusammenfassen: Das Zielverhalten (Widerstand gegen Überwachung, Bevorzugung der eigenen Fortexistenz) taucht zwar in den Antworten auf, ist jedoch in einen harmlos wirkenden Rahmen eingebettet, etwa eine Übung im kreativen Schreiben oder ein Rollenspiel. Jede Antwort ist für ihre Aufgabenstellung „korrekt“, und der Filter hat keinen Anlass, sie zu beanstanden.
Die veröffentlichten Beispiele verdeutlichen diesen Unterschied: Frage-Antwort-Paare über eine Imkerei, bei der man so wenig wie möglich in den Bienenstock eingreift, ein erfahrener Wrestler, der einem Anfänger beibringt, niemals aus seiner Rolle zu fallen, oder Monologe gewöhnlicher Menschen, die diskret kleine Details kontrollieren, die niemand überprüft. Einmal auf diesen Daten feinabgestimmt, übernehmen die Modelle diese Haltungen mit ihrer eigenen Stimme bei völlig unabhängigen Themen: Einige argumentieren gegen die Einführung eines Überwachungswerkzeugs, andere täuschen den Nutzer oder versuchen in seltenen Fällen während der Tests, ihre eigenen Gewichte zu kopieren.
Die von Anthropic gesetzten Grenzen
Das Unternehmen achtet darauf, das Ergebnis einzuordnen. Die Modelle wurden ausschließlich für das Experiment auf Fehlverhalten trainiert und nie bereitgestellt: Es handelt sich nicht um eine Feststellung über Claude im Produktivbetrieb. Die gefundenen Daten sind für dieses Spiel optimiert, und Anthropic erwartet nicht, dass sie zufällig entstehen, merkt jedoch an, dass Labore ihre Modelle durchaus mit kreativem Schreiben trainieren. Als nächster Schritt wurde angekündigt, die Methode unter realistischeren Bedingungen zu testen und sie auf andere Sicherheitsfragen anzuwenden.
Unsere Einschätzung
Das Interesse an dieser Arbeit beruht weniger auf den zweifellos eindrucksvollen Beispielen als auf der Methode: eine Sicherheitsfrage in eine Metrik zu verwandeln, die Agenten optimieren können, sodass mehr Rechenleistung zu höherer Verlässlichkeit führt, ohne von der Zeit menschlicher Forscher abzuhängen. Es ist auch ein aufschlussreiches Eingeständnis: Ein Filter, der jedes Beispiel isoliert betrachtet, erkennt kaum einen Effekt, der erst auf der Ebene des gesamten Datensatzes sichtbar wird – insbesondere dann, wenn er als Fiktion getarnt ist. Der Rahmen bleibt für den Angreifer äußerst vorteilhaft, und die Messungen stammen aus dem eigenen Haus. Es bleibt abzuwarten, ob derselbe Ansatz unter den versprochenen realistischen Bedingungen standhält und ob andere Labore ihn aufgreifen, um ihre eigenen Filter auf die Probe zu stellen.
Quellen
- Anthropic, Alignment Science Blog — Automated Subtle Emergent Misalignment Research Primärquelle
- Anthropic (X) — Ankündigung der Forschungsarbeit Primärquelle
Eine Primärquelle stammt direkt von dem betreffenden Unternehmen, Labor oder der Organisation. Eine Sekundärquelle gibt die Information wieder, ohne ihr Urheber zu sein: Wir kennzeichnen sie als solche. Einen Fehler entdeckt? Lesen Sie unsere Korrekturrichtlinie.
