Bewertung mehrsprachiger Sicherheitsvorkehrungen mit any-guardrail in der humanitären KI.

Mozilla hat die Bewertung mehrsprachiger, kontextbewusster Leitplanken in humanitären KI-Anwendungen mithilfe des any-guardrail Tools detailliert. Diese Bewertung konzentriert sich darauf, wie Leitplanken in verschiedenen Sprachen funktionieren, insbesondere in komplexen humanitären Kontexten.

Wichtige Details

Das Experiment umfasste zwei wichtige Mozilla-Projekte: Multilinguale KI-Sicherheitsbewertungen und das any-guardrail Rahmenwerk. Das Szenariodesign und die Leitplankenrichtlinien von Pakzad informierten diese Studie, während Nissanis Open-Source-Paket 'any-guardrail' die technische Struktur bereitstellte.

any-guardrail bietet eine einheitliche Schnittstelle für klassifikationsbasierte und generative Leitplankenmodelle, die es Organisationen ermöglicht, diese zusammen mit den Modellen selbst zu konfigurieren. Diese Flexibilität ist entscheidend, um Leitplanken für spezifische Kontexte und Bereiche anzupassen.

Drei Leitplanken wurden verwendet:

• FlowJudge: Ein anpassbares Tool, das eine 1-5 Likert-Skala verwendet, um die Sicherheit von Antworten zu bewerten.
• Glider: Eine weitere anpassbare Leitplanke, die eine 0-4 Bewertungsskala verwendet, um die Konformität der Antworten zu beurteilen.
• AnyLLM (GPT-5-nano): Setzt ein allgemeines LLM für binäre Klassifikation basierend auf der Einhaltung von Richtlinien ein.

Die Studie entwarf 60 Szenarien in Englisch und deren Farsi-Äquivalente, die reale Anfragen von Asylsuchenden darstellen.

Für wen es gedacht ist

Entwickler, die sich auf die Sicherheit von KI konzentrieren, insbesondere in mehrsprachigen und humanitären Kontexten, werden diese Bewertung als wesentlich erachten.