Estudio de Stanford: Profesores de Derecho Prefieren Respuestas de IA sobre las de sus Colegas el 75% del Tiempo

Un estudio de la Facultad de Derecho de Stanford liderado por el profesor Julian Nyarko encontró que los profesores de derecho prefieren abrumadoramente las respuestas generadas por IA a preguntas de estudiantes sobre las escritas por instructores colegas. En una evaluación ciega de casi 3,000 comparaciones anónimas en 16 facultades de derecho de EE. UU., las respuestas de IA ganaron el 75% de los enfrentamientos directos contra las escritas por colegas.

Diseño del estudio y resultados

El estudio, titulado Law Professors Prefer AI Over Peer Answers, se centró en derecho contractual. Los participantes crearon 40 preguntas representativas que los estudiantes podrían hacer después de clase o durante horas de oficina. Los profesores escribieron sus propias respuestas y luego evaluaron respuestas sin saber si provenían de IA u otros profesores. Los sistemas de IA se desempeñaron de manera comparable al mejor instructor humano en el estudio.

Hallazgos clave:

• La IA ganó 75% de las comparaciones directas contra respuestas de colegas
• Las respuestas de IA señaladas como pedagógicamente dañinas solo 3.5% del tiempo
• Las respuestas escritas por colegas señaladas como dañinas 12% del tiempo
• Las evaluaciones se centraron en razonamiento legal matizado, no en recuerdo de hechos

Implicaciones para la educación legal

“Este estudio desafía supuestos importantes sobre el papel de la IA en la educación legal”, dijo Nyarko. “Nos enfocamos en el derecho precisamente porque requiere juicio, razonamiento matizado y la capacidad de navegar ambigüedad, no solo recuerdo de hechos.”

La investigación también examinó modelos específicos de IA, incluidos sistemas de tutoría comerciales y NotebookLM de Google, encontrando niveles variados de rendimiento. Incluso cuando las limitaciones de contexto afectaron las respuestas de IA, los profesores aún las prefirieron frecuentemente a las alternativas humanas.

El coautor Sarath Sanga de la Facultad de Derecho de Yale señaló: “En la mayoría de los campos donde se prueba la IA, hay una respuesta correcta. En derecho, a menudo no la hay. Dos argumentos opuestos pueden ser buenos.”

El estudio es particularmente notable porque evaluaciones previas de IA se centraron en temas con respuestas claras correctas o incorrectas, mientras que el razonamiento legal exige un análisis cuidadoso de argumentos en competencia y conclusiones defendibles.

Advertencias y preguntas abiertas

Nyarko advirtió contra la adopción generalizada: “Cómo implementar estas herramientas para mejorar más efectivamente el aprendizaje de los estudiantes sigue siendo una pregunta abierta.” El estudio evaluó la calidad de las respuestas, pero señaló que los desafíos de implementación como alucinaciones, dependencia excesiva y erosión del pensamiento crítico persisten.