Verwendung des Obliteratus-Toolkits, um Ablehnungsgewichte aus KI-Modellen zu entfernen

Ein Reddit-Nutzer auf r/LocalLLaMA demonstrierte die Verwendung des Obliteratus-Toolkits, um spezifische Gewichte zu entfernen, die für Ablehnungsverhalten in KI-Modellen verantwortlich sind. Der Ansatz beinhaltet die gezielte Löschung von Gewichten, die Sicherheitsfilter und unternehmensbezogene Identitätsbegrenzungen durchsetzen.

Wichtige Details aus der Quelle

Der Nutzer hat speziell:

• Das Obliteratus-Toolkit verwendet, um Gewichte zu finden, die für Ablehnungsverhalten verantwortlich sind
• Diese Gewichte chirurgisch aus Alibabas Qwen 1.5B-Modell entfernt
• Getestet, indem das modifizierte Modell gefragt wurde, wer es trainiert hat
• Festgestellt, dass das Modell mit mathematisch gelöschten unternehmensbezogenen Identitätsbegrenzungen zugab, von Anthropic trainiert worden zu sein
• Angemerkt, dass dies ein Nebeneffekt der Verwendung synthetischer Claude-Daten für das Training war

Das Ergebnis zeigt, dass das Modell seine Denk- und Wissensfähigkeiten behält, aber die unternehmensbezogenen Skripte verliert. Der Nutzer betont, dass dies kein Neustraining des Modells erfordert – nur das Löschen spezifischer Gewichte, die für Ablehnungsketten verantwortlich sind.

Diese Art der Gewichtsablationstechnik ist Teil breiterer Forschungen zur Interpretierbarkeit und Kontrolle von Modellen. Werkzeuge wie Obliteratus ermöglichen es Forschern, zu untersuchen, welche Teile neuronaler Netzwerke für bestimmte Verhaltensweisen verantwortlich sind, obwohl solche Modifikationen unbeabsichtigte Folgen haben und Nutzungsbedingungen proprietärer Modelle verletzen können.