GLiGuard: Open-Source 300M Parameter Sicherheitsmoderationsmodell verspricht 16-fache Geschwindigkeitssteigerung gegenüber LLM-Sicherheitsvorkehrungen

Fastino Labs hat GLiGuard als Open Source veröffentlicht – ein Sicherheits-Moderationsmodell, das generative Schutzmechanismen durch einen Klassifikationsansatz ersetzt. Das 300-Millionen-Parameter-Encoder-Modell bewältigt vier Moderationsaufgaben in einem einzigen Vorwärtsdurchlauf und erreicht eine Genauigkeit, die mit 7B–27B-Parameter-Decoder-Modellen vergleichbar ist, bei einer bis zu 16-fachen Reduzierung der Latenz. Die Gewichte sind unter Apache 2.0 auf Hugging Face verfügbar, die Inferenz ist auch auf Pioneer nutzbar.

Warum decoder-basierte Schutzmechanismen langsam sind

Aktuelle hochmoderne Schutzmechanismen (z. B. Llama Guard) verwenden reine Decoder-Transformer, die Urteile Token für Token generieren. Diese sequenzielle Generierung macht sie langsam und teuer für Echtzeit-Sicherheitsfilter. Die meisten bewerten Sicherheitsdimensionen auch getrennt, was die Latenz weiter erhöht. Mit 7 bis 27 Milliarden Parametern sind diese Modelle im Produktionsmaßstab teuer im Betrieb.

Der Encoder-Ansatz von GLiGuard

GLiGuard betrachtet Moderation als Textklassifikation neu. Es kodiert sowohl den Eingabetext als auch die Aufgabenbezeichnungen gemeinsam und bewertet alle Bezeichnungen gleichzeitig in einem einzigen Durchlauf. Das Hinzufügen weiterer Sicherheitsdimensionen (Bezeichnungen) erhöht die Inferenzzeit nicht. Das Modell bewältigt vier gleichzeitige Aufgaben:

• Sicherheitsklassifizierung – sicher / unsicher sowohl für Benutzereingaben als auch für Modellantworten
• Erkennung von Jailbreak-Strategien – 11 Kategorien (Prompt-Injection, Rollenspiel-Umgehung, Anweisungsüberschreibung, Social Engineering usw.)
• Erkennung von Schadkategorien – 14 Kategorien (Gewalt, sexuelle Inhalte, Hassrede, personenbezogene Daten, Fehlinformationen, Kindersicherheit, Urheberrechtsverletzungen usw.)
• Ablehnungserkennung – Compliance oder Ablehnung, verwendet zur Messung von übermäßiger Ablehnung und falscher Compliance

Alle vier werden gemeinsam evaluiert, während Decoder-Modelle sequenzielle Durchläufe oder mehrere Modellaufrufe erfordern würden.

Benchmarks und Leistung

In neun Sicherheits-Benchmarks erreicht oder übertrifft GLiGuard Modelle, die 23–90x so groß sind, und läuft dabei bis zu 16x schneller. Im Beitrag werden keine spezifischen Genauigkeitszahlen genannt, aber die Leistung soll mit führenden generativen Schutzmechanismen vergleichbar sein.

Für wen ist es gedacht

Teams, die LLM-Agenten oder Chat-Systeme einsetzen und eine latenzarme, kosteneffiziente Echtzeit-Sicherheitsfilterung im großen Maßstab benötigen.