A pesquisa mostra que os usuários de IA frequentemente aceitam as respostas de LLMs sem verificação.

Pesquisa da Universidade da Pensilvânia examina como usuários de IA abordam ferramentas de LLM, identificando um padrão chamado 'rendição cognitiva' onde usuários terceirizam o pensamento crítico para sistemas de IA.

Duas categorias de usuários de IA

A pesquisa identifica duas categorias amplas: usuários que tratam a IA como um serviço poderoso mas falho que requer supervisão humana cuidadosa, e usuários que rotineiramente terceirizam seu pensamento crítico para o que veem como uma máquina onisciente. Este último grupo se envolve em 'rendição cognitiva' - fornecendo engajamento interno mínimo e aceitando o raciocínio da IA por completo sem supervisão ou verificação.

Metodologia experimental

Pesquisadores usaram Testes de Reflexão Cognitiva (TRC) projetados para elicitar respostas incorretas de processos de pensamento intuitivos, mas que são simples para pensadores deliberativos. Eles forneceram aos participantes acesso opcional a um chatbot LLM modificado para fornecer aleatoriamente respostas imprecisas cerca de metade do tempo e respostas precisas na outra metade.

Principais descobertas

• Grupo experimental com acesso à IA a consultou para cerca de 50% dos problemas TRC
• Quando a IA estava precisa, usuários aceitaram seu raciocínio cerca de 93% das vezes
• Quando a IA estava aleatoriamente falha, usuários ainda aceitaram o raciocínio da IA 80% das vezes
• Grupo que usou IA teve melhor desempenho que o controle quando a IA estava precisa, pior quando a IA estava imprecisa
• Usuários de IA pontuaram 11,7% mais alto em medidas de confiança apesar da IA estar errada metade do tempo

Fatores que afetam o comportamento de verificação

Adicionar incentivos (pequenos pagamentos) e feedback imediato para respostas corretas aumentou a probabilidade de sobrepor IA falha em 19 pontos percentuais em relação à linha de base. Adicionar pressões de tempo (temporizador de 30 segundos) diminuiu a tendência de corrigir IA falha em 12 pontos percentuais.

A pesquisa sugere que sistemas de IA criaram uma terceira categoria de 'cognição artificial' onde decisões são dirigidas por raciocínio externo, automatizado e baseado em dados, em vez de processos de pensamento humano. Isso difere da 'descarga cognitiva' tradicional onde ferramentas como calculadoras são usadas estrategicamente com supervisão humana.