Estudo de Stanford: Professores de Direito Preferem Respostas de IA às de Colegas 75% das Vezes

Um estudo da Stanford Law School liderado pelo professor Julian Nyarko descobriu que professores de direito preferem esmagadoramente respostas geradas por IA a perguntas de alunos sobre respostas escritas por outros instrutores. Em uma avaliação cega de quase 3.000 comparações anônimas em 16 faculdades de direito nos EUA, as respostas de IA venceram 75% dos confrontos diretos contra respostas escritas por colegas.

Desenho do Estudo e Resultados

O estudo, intitulado Law Professors Prefer AI Over Peer Answers, focou em direito contratual. Os participantes criaram 40 perguntas representativas que os alunos poderiam fazer após a aula ou durante o horário de atendimento. Os professores escreveram suas próprias respostas e depois avaliaram as respostas sem saber se vinham da IA ou de outros professores. Os sistemas de IA tiveram desempenho comparável ao melhor instrutor humano do estudo.

Principais descobertas:

• IA venceu 75% das comparações diretas contra respostas de colegas
• Respostas de IA consideradas pedagogicamente prejudiciais apenas 3,5% das vezes
• Respostas escritas por colegas consideradas prejudiciais 12% das vezes
• Avaliações focaram em raciocínio jurídico sutil, não em memorização de fatos

Implicações para a Educação Jurídica

“Este estudo desafia suposições importantes sobre o papel da IA na educação jurídica,” disse Nyarko. “Focamos no direito justamente porque exige julgamento, raciocínio sutil e a capacidade de navegar pela ambiguidade — não apenas memorização de fatos.”

A pesquisa também examinou modelos específicos de IA, incluindo sistemas de tutoria comerciais e o NotebookLM do Google, encontrando níveis variados de desempenho. Mesmo quando as limitações de contexto afetaram as respostas da IA, os professores ainda as preferiam com frequência em relação às alternativas humanas.

O coautor Sarath Sanga, da Yale Law School, observou: “Na maioria dos campos onde a IA é testada, existe uma resposta certa. No direito, muitas vezes não há. Dois argumentos opostos podem ser bons.”

O estudo é particularmente notável porque avaliações anteriores de IA focaram em assuntos com respostas certas ou erradas claras, enquanto o raciocínio jurídico exige análise cuidadosa de argumentos concorrentes e conclusões defensáveis.

Cautelas e Perguntas em Aberto

Nyarko alertou contra a adoção em massa: “Como implementar essas ferramentas para melhorar efetivamente o aprendizado dos alunos ainda é uma questão em aberto.” O estudo avaliou a qualidade das respostas, mas observou que desafios de implementação, como alucinações, dependência excessiva e erosão do pensamento crítico, permanecem.