Forschung zeigt, dass KI-Nutzer Antworten von LLMs oft ohne Überprüfung akzeptieren.

Forschung der University of Pennsylvania untersucht, wie KI-Nutzer mit LLM-Tools umgehen, und identifiziert ein Muster namens 'kognitive Kapitulation', bei dem Nutzer kritisches Denken an KI-Systeme auslagern.

Zwei Kategorien von KI-Nutzern

Die Forschung identifiziert zwei breite Kategorien: Nutzer, die KI als leistungsstarken, aber fehlerhaften Dienst behandeln, der sorgfältige menschliche Aufsicht erfordert, und Nutzer, die routinemäßig ihr kritisches Denken an das auslagern, was sie als allwissende Maschine betrachten. Letztere Gruppe übt sich in 'kognitiver Kapitulation' – sie zeigt minimale interne Beteiligung und akzeptiert die Argumentation der KI vollständig ohne Aufsicht oder Überprüfung.

Experimentelle Methodik

Forscher verwendeten Cognitive Reflection Tests (CRT), die darauf ausgelegt sind, falsche Antworten aus intuitiven Denkprozessen hervorzurufen, aber für überlegte Denker einfach sind. Sie boten Teilnehmern optionalen Zugang zu einem LLM-Chatbot, der so modifiziert war, dass er etwa die Hälfte der Zeit zufällig ungenaue Antworten und die andere Hälfte genaue Antworten lieferte.

Wichtige Ergebnisse

• Experimentelle Gruppe mit KI-Zugang konsultierte sie für etwa 50 % der CRT-Probleme
• Wenn die KI genau war, akzeptierten Nutzer ihre Argumentation in etwa 93 % der Fälle
• Wenn die KI zufällig fehlerhaft war, akzeptierten Nutzer die KI-Argumentation immer noch in 80 % der Fälle
• KI-nutzende Gruppe schnitt besser ab als Kontrollgruppe, wenn KI genau war, schlechter, wenn KI ungenau war
• KI-Nutzer erzielten 11,7 % höhere Werte bei Vertrauensmaßen, obwohl die KI in der Hälfte der Fälle falsch lag

Faktoren, die Überprüfungsverhalten beeinflussen

Das Hinzufügen von Anreizen (kleine Zahlungen) und sofortigem Feedback für korrekte Antworten erhöhte die Wahrscheinlichkeit, fehlerhafte KI zu überstimmen, um 19 Prozentpunkte im Vergleich zur Basislinie. Das Hinzufügen von Zeitdruck (30-Sekunden-Timer) verringerte die Tendenz, fehlerhafte KI zu korrigieren, um 12 Prozentpunkte.

Die Forschung legt nahe, dass KI-Systeme eine dritte Kategorie von 'künstlicher Kognition' geschaffen haben, bei der Entscheidungen von externer, automatisierter, datengesteuerter Argumentation angetrieben werden, anstatt von menschlichen Denkprozessen. Dies unterscheidet sich von traditioneller 'kognitiver Entlastung', bei der Werkzeuge wie Taschenrechner strategisch mit menschlicher Aufsicht eingesetzt werden.