Neuer KI-Tutor erzielt Effektstärke von 0,71-1,30 SD in Dartmouth-Kurs

Forscher der Dartmouth University setzten einen KI-Tutor in einem einführenden Informatikkurs ein und maßen Effektstärken von 0,71 bis 1,30 Standardabweichungen bei den Lernergebnissen. Das Papier, das auf dem InTextbooks-Workshop 2026 vorgestellt wurde, vergleicht den KI-Tutor mit dem Standardunterricht. Die Ergebnisse deuten darauf hin, dass LLM-basiertes Tutoring traditionelle Methoden in kontrollierten Klassenzimmerumgebungen deutlich übertreffen kann.

Wichtige Erkenntnisse

• Effektstärkebereich: 0,71 bis 1,30 SD über verschiedene Bewertungsarten hinweg
• Studie durchgeführt in einem einführenden Dartmouth-Informatikkurs
• KI-Tutor nutzt wahrscheinlich sokratische Hinweise und Code-Feedback über LLM
• Kontrollgruppe erhielt Standardunterricht ohne den KI-Tutor

Obwohl die genaue Architektur im PDF-Auszug nicht vollständig beschrieben ist, sind die Effektstärken groß genug, um praktisch signifikant zu sein. Eine Effektstärke von 1,0 SD entspricht typischerweise der Verschiebung eines durchschnittlichen Schülers vom 50. auf etwa das 84. Perzentil.

Für wen dies wichtig ist

Entwickler, die Bildungsagenten oder Tutorensysteme für das Programmieren erstellen. Auch relevant für KI-Forscher, die die reale Auswirkung von LLMs bewerten.