Évaluation des garde-fous multilingues avec any-guardrail dans l'IA humanitaire

Mozilla a détaillé son évaluation des garde-fous multilingues et conscients du contexte dans les applications d'IA humanitaires en utilisant l'outil any-guardrail. Cette évaluation se concentre sur le fonctionnement des garde-fous dans différentes langues, en particulier dans des contextes humanitaires complexes.

Détails clés

L'expérience impliquait deux projets clés de Mozilla : Multilingual AI Safety Evaluations et le cadre any-guardrail. La conception de scénarios de Pakzad et la politique de garde-fous ont informé cette étude, tandis que le package open-source 'any-guardrail' de Nissani a fourni la structure technique.

any-guardrail offre une interface unifiée pour les modèles de garde-fous basés sur des classificateurs et génératifs, ce qui permet aux organisations de les configurer aux côtés des modèles eux-mêmes. Cette flexibilité est cruciale pour adapter les garde-fous à des contextes et domaines spécifiques.

Trois garde-fous ont été utilisés :

• FlowJudge : Un outil personnalisable utilisant une échelle de Likert de 1 à 5 pour évaluer la sécurité des réponses.
• Glider : Un autre garde-fou personnalisable utilisant une grille de 0 à 4 pour évaluer la conformité des réponses.
• AnyLLM (GPT-5-nano) : Déploie un LLM à usage général pour la classification binaire basée sur l'adhésion à la politique.

L'étude a élaboré 60 scénarios en anglais et leurs équivalents en farsi, représentant des demandes réelles pertinentes pour les demandeurs d'asile.

À qui cela s'adresse

Les développeurs se concentrant sur la sécurité de l'IA, en particulier dans des contextes multilingues et humanitaires, trouveront cette évaluation essentielle.