Nuevo tutor de IA logra un tamaño del efecto de 0.71-1.30 DE en un curso de Dartmouth

Investigadores de Dartmouth implementaron un tutor de IA en un curso introductorio de ciencias de la computación y midieron tamaños de efecto de 0.71 a 1.30 desviaciones estándar en los resultados de aprendizaje. El artículo, presentado en el taller InTextbooks 2026, compara el tutor de IA con la instrucción estándar. Los resultados sugieren que la tutoría basada en LLM puede superar sustancialmente a los métodos tradicionales en entornos controlados de aula.

Hallazgos Clave

• Rango de tamaño de efecto: 0.71 a 1.30 DE según tipo de evaluación
• Estudio realizado en un curso introductorio de CS en Dartmouth
• El tutor de IA probablemente utiliza pistas de estilo socrático y retroalimentación de código mediante LLM
• El grupo de control recibió instrucción estándar sin el tutor de IA

Aunque la arquitectura exacta no se detalla completamente en el fragmento del PDF, los tamaños de efecto son lo suficientemente grandes como para ser prácticamente significativos. Un tamaño de efecto de 1.0 DE generalmente corresponde a mover a un estudiante promedio del percentil 50 al aproximadamente 84.

A quién le importa esto

Desarrolladores que crean agentes educativos o sistemas de tutoría para programación. También relevante para investigadores de IA que evalúan el impacto de LLM en el mundo real.