Lokale Feinabstimmung von Llama 3.2-1B zur Geheimniserkennung übertrifft Wizs Modell

Ein Entwickler hat seine erfolgreiche lokale Feinabstimmung von Llama 3.2-1B für die Geheimniserkennung in Code dokumentiert und dabei die Metriken eines ähnlichen Modells von Wiz übertroffen. Das Projekt wurde vollständig mit lokalen KI-Tools durchgeführt, ohne proprietäre APIs zu nutzen.

Wichtige Ergebnisse und Vorgehensweise

Der Entwickler wollte die Ergebnisse von Wiz von 86 % Präzision und 82 % Recall replizieren oder übertreffen. Nach einigen Wochenenden Arbeit erreichte er gleichzeitig 88 % Präzision und 84,4 % Recall mit einem feinabgestimmten Llama 3.2-1B-Modell. Er testete auch Qwen 3.5-2B- und 4B-Modelle, die das 1B-Modell übertrafen, jedoch mit höherem VRAM-Verbrauch und längeren Inferenzzeiten.

Datensatz und Trainingsprozess

Die Arbeit stützte sich ausschließlich auf öffentlich verfügbare Daten, die unzureichend waren, daher wurde prozedurale Generierung verwendet, um den Datensatz zu erweitern und zu verbessern. Alle Kennzeichnungen wurden lokal mit dem Qwen3-Coder-Next-Modell durchgeführt. Ein wichtiges Trainingsziel war, dass die Modelle strukturiertes JSON ausgeben. Anfangs erzielten ungeschulte Modelle (Llama & Qwen) 0 % bei der Schema-Konformität, aber nach dem Training verbesserte sich dies auf 98–100 %.

Herausforderungen und Erkenntnisse

Der Entwickler stieß während des Prozesses auf mehrere Probleme:

• Eine Klasse mit hoher Entropie, die dem Training schadete, wurde identifiziert und entfernt.
• Es wurde festgestellt, dass 4.500 der 'negativen' Beispiele im Datensatz tatsächlich reale Passwörter enthielten, was bedeutete, dass das Modell darauf trainiert wurde, Geheimnisse zu ignorieren. Die Behebung dieses Problems verbesserte den Recall bei Passwörtern.

Der Entwickler hat einen vollständigen technischen Bericht mit Trainingsstatistiken, Beispielen und einer schrittweisen Aufschlüsselung des Prozesses veröffentlicht.