La recherche montre que les utilisateurs d'IA acceptent souvent les réponses des LLM sans vérification.

Une recherche de l'Université de Pennsylvanie examine comment les utilisateurs d'IA abordent les outils LLM, identifiant un schéma appelé 'reddition cognitive' où les utilisateurs externalisent leur esprit critique vers les systèmes d'IA.

Deux catégories d'utilisateurs d'IA

La recherche identifie deux grandes catégories : les utilisateurs qui traitent l'IA comme un service puissant mais imparfait nécessitant une surveillance humaine attentive, et les utilisateurs qui externalisent régulièrement leur esprit critique vers ce qu'ils perçoivent comme une machine omnisciente. Ce dernier groupe s'engage dans la 'reddition cognitive' - fournissant un engagement interne minimal et acceptant intégralement le raisonnement de l'IA sans surveillance ni vérification.

Méthodologie expérimentale

Les chercheurs ont utilisé des tests de réflexion cognitive (CRT) conçus pour susciter des réponses incorrectes à partir de processus de pensée intuitifs, mais simples pour les penseurs délibératifs. Ils ont fourni aux participants un accès optionnel à un chatbot LLM modifié pour fournir aléatoirement des réponses inexactes environ la moitié du temps et des réponses précises l'autre moitié.

Principales conclusions

• Le groupe expérimental avec accès à l'IA l'a consultée pour environ 50 % des problèmes CRT
• Lorsque l'IA était précise, les utilisateurs ont accepté son raisonnement environ 93 % du temps
• Lorsque l'IA était aléatoirement défectueuse, les utilisateurs ont tout de même accepté le raisonnement de l'IA 80 % du temps
• Le groupe utilisant l'IA a obtenu de meilleurs résultats que le groupe témoin lorsque l'IA était précise, et de moins bons résultats lorsque l'IA était inexacte
• Les utilisateurs d'IA ont obtenu des scores de confiance 11,7 % plus élevés malgré le fait que l'IA se trompait la moitié du temps

Facteurs affectant le comportement de vérification

L'ajout d'incitations (petits paiements) et de retours immédiats pour les réponses correctes a augmenté la probabilité de rejeter une IA défectueuse de 19 points de pourcentage par rapport à la ligne de base. L'ajout de pressions temporelles (minuteur de 30 secondes) a diminué la tendance à corriger une IA défectueuse de 12 points de pourcentage.

La recherche suggère que les systèmes d'IA ont créé une troisième catégorie de 'cognition artificielle' où les décisions sont motivées par un raisonnement externe, automatisé et basé sur les données plutôt que par des processus de pensée humains. Cela diffère du 'déchargement cognitif' traditionnel où des outils comme les calculatrices sont utilisés stratégiquement avec une surveillance humaine.