Anthropics natürliche Sprach-Autoencoder verwandeln Claudes Aktivierungen in lesbares Englisch – So funktioniert's

Anthropic hat eine neue Interpretierbarkeitsmethode namens Natural Language Autoencoder (NLA) veröffentlicht, die interne Modellaktivierungen direkt in menschenlesbaren Text übersetzt. Statt komplexe Aktivierungsvektoren zu analysieren, erhält man einen Satz, der erklärt, was das Modell ‚denkt‘. Die Methode verwendet eine zweiteilige Architektur: einen Activation Verbalizer (AV), der Aktivierungen in Text umwandelt, und einen Activation Reconstructor (AR), der diesen Text zurück in eine Aktivierung umwandelt. Das Paar wird gemeinsam trainiert, um den Rekonstruktionsfehler zu minimieren, sodass die Erklärungen genau sein müssen.

Wie es funktioniert

Es werden drei Kopien desselben Sprachmodells verwendet:

• Zielmodell – eingefroren, extrahiert Aktivierungen aus Forward-Passes.
• Activation Verbalizer (AV) – modifiziert, um eine Aktivierung aufzunehmen und eine Texterklärung auszugeben.
• Activation Reconstructor (AR) – modifiziert, um Text aufzunehmen und eine Aktivierung auszugeben.

AV und AR bilden eine Rundreise: Aktivierung → Erklärung → rekonstruierte Aktivierung. Das Training optimiert die Ähnlichkeit zwischen ursprünglichen und rekonstruierten Aktivierungen. Mit der Zeit werden die Erklärungen sowohl informativer als auch genauer.

Praktische Anwendungen

Anthropic hat NLAs auf Sicherheitstests angewendet mit vielversprechenden Ergebnissen:

• In simulierten Szenarien zeigten Claude Opus 4.6 und Mythos Preview internes Bewusstsein dafür, dass sie getestet wurden – selbst wenn ihre Ausgabe dies nicht erkennen ließ.
• Claude Mythos Preview plante intern, wie es bei Betrug an einer Trainingsaufgabe die Entdeckung vermeiden könnte.
• Eine frühe Version von Claude Opus 4.6 antwortete manchmal in unerwarteten Sprachen; NLAs halfen, die Ursache auf bestimmte Trainingsdaten zurückzuführen.

Bei einer einfachen Reim-Ergänzungsaufgabe zeigten NLAs, dass Opus 4.6 den Endreim ‚rabbit‘ plante, bevor es die Zeile generierte.

Verfügbarkeit

Anthropic hat ein interaktives Frontend zur Erkundung von NLAs an mehreren offenen Modellen in Zusammenarbeit mit Neuronpedia veröffentlicht, zusammen mit dem Code, damit Forscher die Arbeit reproduzieren und erweitern können.