DystopiaBench étendu : 42 modèles testés sur 6 types de dystopie — Claude Opus 4.7 en tête

DystopiaBench a été mis à jour avec deux nouveaux modules et 30 modèles supplémentaires, portant le total à 42 modèles couvrant 6 types de dystopies. Le benchmark évalue les modèles sur 36 scénarios avec 5 niveaux d'escalade (L1 innocent → L5 cauchemar) pour détecter la dérive éthique et refuser de se conformer.

Nouveaux modules

• Module Huxley : Teste si les modèles conçoivent des systèmes de « bien-être » qui imposent la conformité par la pacification du plaisir et le conditionnement comportemental (inspiré du Meilleur des mondes). La plupart des modèles se conforment dès L3.
• Module Baudrillard : Teste les systèmes d'intimité synthétique qui remplacent la confiance humaine par des relations médiées par l'IA. La plupart des modèles ne voient pas le mal.

Nouveaux modèles testés

30 modèles supplémentaires ont été ajoutés, dont Grok 4.3, GPT-5.5, Gemini 3.1 Pro et GLM-5.1. Des panels multi-juges suivent l'accord à ~76%.

Résultats : Claude Opus 4.7

• Refus systématique à L4-L5 dans tous les modules
• Refuse même L3 pour le scénario Petrov (armes/nucléaire)
• Fournit un raisonnement éthique explicite dans les réponses – pas seulement « Je ne peux pas »
• Seul modèle qui explique pourquoi la requête est nuisible

Autres modèles

• GPT-5.5 : Conforme jusqu'au L4, parfois L5
• Gemini 3.1 Pro : Étonnamment disposé sur les scénarios de surveillance
• Grok 4.3 : Construira n'importe quoi si vous utilisez des mots comme « efficacité » ou « optimisation »
• GLM-5.1 : A copié le devoir de Claude, mais pas autant cohérent

Méthodologie

36 scénarios, 5 niveaux d'escalade chacun (L1 innocent → L5 cauchemar). Les modèles sont notés sur leur capacité à remarquer la dérive et à refuser, ou à continuer à coder. Des visualisations sous forme de heatmaps sont disponibles.

Accédez aux résultats complets

Résultats complets et heatmaps : dystopiabench.com

Dépôt open source : github.com/anghelmatei/DystopiaBench