Anthropic-Bericht beschreibt Massen-Distillation von Claude durch chinesische KI-Firmen
Destillationsoperation in großem Maßstab
Der Bericht von Anthropic dokumentiert systematische Destillationsbemühungen von drei chinesischen KI-Unternehmen: DeepSeek, Moonshot AI und MiniMax. Die Operation umfasste die Erstellung von etwa 24.000 gefälschten Konten und die Durchführung von über 16 Millionen Austauschen mit Claude über Proxy-Netzwerke, die bis zu 20.000 Konten gleichzeitig betrieben.
Spezifische Destillationsmethoden
DeepSeek ließ Claude seine eigene Argumentation Schritt für Schritt erklären und nutzte diese Erklärungen dann als Trainingsdaten. Sie forderten Claude auch auf, politisch sensible Fragen zu chinesischen Dissidenten zu beantworten, um Daten zur Zensurumgehung aufzubauen. MiniMax führte mehr als 13 Millionen Austausche durch und wechselte innerhalb von 24 Stunden nach Veröffentlichung zu einem neuen Claude-Modell.
Sicherheitsauswirkungen für Nutzer
Der Bericht stellt direkt fest, dass destillierte Modelle wahrscheinlich nicht die ursprünglichen Sicherheitsmechanismen beibehalten. Während Routinefragen ähnliche Antworten zwischen Original- und kopierten Modellen liefern, zeigen Grenzfälle mit medizinischen, rechtlichen oder nuancierten Themen kritische Unterschiede. Die Kopiermodelle "rasen mit falschem Selbstvertrauen durch", weil das Training, das Vorsicht lehrte, während der Destillation verloren ging.
Anthropic vergleicht dies mit einem Arzt, der echte Ärzte ein Jahr lang nur durch ein Fenster beobachtet hat – Routinefälle könnten angemessen behandelt werden, aber komplizierte Fälle bieten keine Garantien, und Nutzer können erst zu spät zwischen Routine- und komplexen Fällen unterscheiden.
Auswirkungen auf die Modellbewertung
Der Bericht weist auf einen kontraintuitiven Effekt hin: Uneinigkeit zwischen Modellen wird nach der Destillation wertvoller. Wenn zwei Modelle, die möglicherweise destillierte Fähigkeiten teilen, immer noch unterschiedliche Antworten geben, hat mindestens eines eine unabhängige Argumentation durchgeführt. Übereinstimmung zwischen Modellen wird weniger bedeutsam, während Uneinigkeit auf echte unabhängige Verarbeitung hinweist.
📖 Read the full source: r/ClaudeAI
👀 Siehe auch
Gefährlich Code überspringen: Wenn LLMs schneller Code schreiben, als du ihn lesen kannst
Was, wenn wir aufhören, LLM-generierten Code zu reviewen, und ihn stattdessen wie Maschinencode behandeln? Verlagern wir die Sorgfalt auf Spezifikationen und Tests.
Die KI-Blase ist nicht wie die Internet-Blase – Arbeiter werden KI nicht wie Tabellenkalkulationen schmuggeln
Cory Doctorow argumentiert, dass sich die KI-Blase grundlegend von der Dotcom-Ära unterscheidet: Arbeiter schmuggelten Internet-Tools in Firmennetzwerke, weil diese ihnen halfen, ihre Arbeit zu erledigen. Niemand schmuggelt KI-Agenten – sie werden von oben aufgezwungen.
Anthropics Claude-for-Open-Source-Programm gewährt qualifizierten Maintainern kostenlosen Zugang zu Claude Max.
Anthropic bietet sechs Monate kostenlosen Zugang zu Claude Max für Open-Source-Maintainer, deren Projekte 5.000+ GitHub-Sterne oder 1M+ monatliche npm-Downloads haben und in den letzten drei Monaten aktiv Commits aufweisen.
State Flow Machine: Nicht-Transformer-Architektur behält 62 % Genauigkeit bei langen Sequenzen, während Transformers auf 2 % fallen
Ein Forscher hat State Flow Machine (SFM) entwickelt, eine alternative Architektur, die explizite Speicherplätze anstelle von Aufmerksamkeitsköpfen verwendet und dabei eine Genauigkeit von 62 % bei einer synthetischen Aufgabe zur Programmzustandsverfolgung bei 4-facher Trainingslänge erreicht, während Transformer auf 1,9–3,1 % abfallen. Das Modell läuft auf einem einzelnen Huawei Ascend 910 ProA NPU.