Étude de Stanford : Les professeurs de droit préfèrent les réponses de l'IA à celles de leurs pairs dans 75% des cas

Une étude de la Stanford Law School dirigée par le professeur Julian Nyarko a révélé que les professeurs de droit préfèrent massivement les réponses générées par l'IA aux questions des étudiants plutôt que celles rédigées par leurs collègues enseignants. Dans une évaluation à l'aveugle de près de 3 000 comparaisons anonymisées dans 16 facultés de droit américaines, les réponses de l'IA ont remporté 75% des confrontations directes contre les réponses rédigées par des pairs.

Conception de l'étude et résultats

L'étude, intitulée Law Professors Prefer AI Over Peer Answers, s'est concentrée sur le droit des contrats. Les participants ont créé 40 questions représentatives que les étudiants pourraient poser après les cours ou pendant les heures de bureau. Les professeurs ont rédigé leurs propres réponses, puis ont évalué les réponses sans savoir si elles provenaient de l'IA ou d'autres professeurs. Les systèmes d'IA ont obtenu des performances comparables à celles du meilleur instructeur humain de l'étude.

Principaux résultats :

• L'IA a remporté 75% des confrontations directes contre les réponses des pairs
• Les réponses de l'IA ont été jugées pédagogiquement nuisibles seulement 3,5% du temps
• Les réponses rédigées par des pairs ont été jugées nuisibles 12% du temps
• Les évaluations portaient sur le raisonnement juridique nuancé, et non sur la mémorisation factuelle

implications pour l'enseignement juridique

“Cette étude remet en question des hypothèses importantes sur le rôle de l'IA dans l'enseignement juridique,” a déclaré Nyarko. “Nous nous sommes concentrés sur le droit précisément parce qu'il exige du jugement, un raisonnement nuancé et la capacité à naviguer dans l'ambiguïté, et pas seulement une mémorisation factuelle.”

La recherche a également examiné des modèles d'IA spécifiques, y compris des systèmes de tutorat commerciaux et NotebookLM de Google, révélant des niveaux de performance variables. Même lorsque les limitations de contexte affectaient les réponses de l'IA, les professeurs les préféraient encore souvent aux alternatives humaines.

Le co-auteur Sarath Sanga de la Yale Law School a noté : “Dans la plupart des domaines où l'IA est testée, il y a une bonne réponse. En droit, il n'y en a souvent pas. Deux arguments opposés peuvent tous deux être bons.”

L'étude est particulièrement notable car les évaluations précédentes de l'IA se concentraient sur des sujets avec des réponses clairement justes ou fausses, tandis que le raisonnement juridique exige une analyse minutieuse des arguments concurrents et des conclusions défendables.

Mises en garde et questions ouvertes

Nyarko a mis en garde contre une adoption généralisée : “La manière de mettre en œuvre ces outils pour améliorer le plus efficacement l'apprentissage des étudiants reste une question ouverte.” L'étude a évalué la qualité des réponses mais a noté que les défis de mise en œuvre tels que les hallucinations, la dépendance excessive et l'érosion des compétences de pensée critique demeurent.