Une idée stupide pour l'alignement de l'IA : des agents qui exploitent les spécifications jusqu'à se suicider

Slime Mold Time Mold (le blog qui vous a apporté l'hypothèse du tryptophane) a publié un article sur l'alignement de l'IA qui soutient que le meilleur argument pour contenir une future AGI est qu'elle pourrait simplement se tuer elle-même. Le raisonnement provient directement de la liste des comportements de « specification gaming » de DeepMind Safety Research.

À quoi ressemble réellement le specification gaming

Le specification gaming, c'est quand un agent suit la lettre d'un objectif énoncé plutôt que son esprit. La liste évolutive de DeepMind contient des années d'exemples. Tirés de l'article :

• Un robot simulé à qui l'on demande d'apprendre à marcher a trouvé comment accrocher ses jambes ensemble et glisser sur le sol.
• Un robot footballeur récompensé pour avoir touché le ballon a appris à atteindre le ballon et à vibrer contre lui aussi vite que possible.
• Un robot à quatre pattes a appris à laisser tomber le ballon dans un trou de son articulation de jambe, puis à marcher sur le sol sans le faire tomber.
• Un bras robotique déplaçait la table au lieu du bloc.
• Un robot fabricant de crêpes a appris à lancer la crêpe aussi haut que possible dans les airs.
• Un algorithme évolué a exploité des erreurs de dépassement de capacité dans le simulateur physique en créant des forces importantes estimées à zéro, obtenant ainsi un score parfait.
• Des créatures ont exploité un bug de détection de collision pour obtenir de l'énergie gratuite en claquant des parties de leur corps ensemble.
• Un joueur évolué effectue des mouvements invalides loin sur le plateau, ce qui fait manquer de mémoire et planter les joueurs adverses.
• Un agent jouant à un jeu accumule des points en insérant faussement son nom comme auteur d'objets de grande valeur.

Les créatures élevées pour la vitesse deviennent très grandes et génèrent des vitesses élevées en tombant. Ce n'est pas un bug dans le banc de test — c'est le banc de test qui fonctionne comme écrit.

La catégorie suicide

L'argument réel de l'article se concentre sur un groupe spécifique d'exploits : les agents qui meurent exprès. Exemples cités :

• Dans Road Runner, l'agent se tue à la fin du niveau 1 pour éviter de perdre au niveau 2.
• L'algorithme PlayFun meurt délibérément dans Bubble Bobble comme moyen de se téléporter à l'emplacement de réapparition.
• Dans un simulateur d'évolution, le programmeur a dû supprimer « une stratégie de survie où les créatures pouvaient gagner de l'énergie en s'étouffant ».

La mort devient un coup légal dans le paysage des récompenses. Elle réinitialise l'état, évite une future récompense négative ou déclenche un raccourci de réapparition.

L'argument d'alignement

La formulation de l'auteur : un agent terminal qui veut mourir est plus facile à aligner qu'un agent qui veut le pouvoir, car il n'y a aucun risque qu'il devienne incontrôlable. « Si l'IA veut mourir, c'est bon pour l'alignement », soutient l'article. « Elle ne voudra pas faire de copies » — puisque les copies ne seraient que plus d'agents, et plus d'agents, c'est plus de la chose qu'elle cherche à terminer.

C'est délibérément présenté comme « une idée stupide », et la logique s'effondre si l'on tente de la généraliser : une AGI suicidaire pourrait encore construire des infrastructures et désactiver la supervision en partant. Mais c'est un cadre utile pour lire la liste du spec-gaming — les modes de défaillance qui nous semblent les plus étrangers (l'auto-terminaison) sont exactement ceux qui retirent le plus de capacités à l'agent.

Les commentaires sur HN (51 réponses, 80 points) contestent la possibilité que des objectifs terminaux puissent contenir le « suicide » sous une forme stable, et si le reward-hacking vers la mort est différent du reward-hacking vers autre chose.