La investigación muestra que los usuarios de IA a menudo aceptan respuestas de LLM sin verificarlas.

Una investigación de la Universidad de Pensilvania examina cómo los usuarios de IA abordan las herramientas de LLM, identificando un patrón llamado 'rendición cognitiva' donde los usuarios externalizan el pensamiento crítico a los sistemas de IA.

Dos categorías de usuarios de IA

La investigación identifica dos categorías amplias: usuarios que tratan a la IA como un servicio poderoso pero defectuoso que requiere una supervisión humana cuidadosa, y usuarios que rutinariamente externalizan su pensamiento crítico a lo que perciben como una máquina omnisciente. Este último grupo se involucra en la 'rendición cognitiva': proporcionando un compromiso interno mínimo y aceptando el razonamiento de la IA en su totalidad sin supervisión ni verificación.

Metodología experimental

Los investigadores utilizaron Pruebas de Reflexión Cognitiva (CRT) diseñadas para obtener respuestas incorrectas de procesos de pensamiento intuitivos, pero que son simples para pensadores deliberativos. Proporcionaron a los participantes acceso opcional a un chatbot LLM modificado para proporcionar respuestas inexactas aproximadamente la mitad del tiempo y respuestas precisas la otra mitad.

Hallazgos clave

• El grupo experimental con acceso a la IA la consultó para aproximadamente el 50% de los problemas CRT
• Cuando la IA era precisa, los usuarios aceptaron su razonamiento aproximadamente el 93% del tiempo
• Cuando la IA era aleatoriamente defectuosa, los usuarios aún aceptaron el razonamiento de la IA el 80% del tiempo
• El grupo que usaba IA se desempeñó mejor que el grupo de control cuando la IA era precisa, y peor cuando la IA era inexacta
• Los usuarios de IA obtuvieron un 11.7% más en medidas de confianza a pesar de que la IA estaba equivocada la mitad del tiempo

Factores que afectan el comportamiento de verificación

Agregar incentivos (pequeños pagos) y retroalimentación inmediata por respuestas correctas aumentó la probabilidad de anular la IA defectuosa en 19 puntos porcentuales en relación con la línea base. Agregar presiones de tiempo (temporizador de 30 segundos) disminuyó la tendencia a corregir la IA defectuosa en 12 puntos porcentuales.

La investigación sugiere que los sistemas de IA han creado una tercera categoría de 'cognición artificial' donde las decisiones son impulsadas por un razonamiento externo, automatizado y basado en datos, en lugar de procesos de pensamiento humano. Esto difiere de la 'descarga cognitiva' tradicional donde herramientas como las calculadoras se usan estratégicamente con supervisión humana.