Ontario-Prüfbericht: 60% der KI-Schreibsysteme verwechseln Medikamente, 85% übersehen psychische Details

Das Amt des Rechnungsprüfers von Ontario hat 20 zugelassene KI-Notizschreibsysteme überprüft, die von Ärzten und Krankenpflegern verwendet werden. Dabei wurden simulierte Arzt-Patienten-Aufnahmen erstellt, um die Genauigkeit zu bewerten. Die Ergebnisse sind erschütternd:

• 12 von 20 Systemen fügten falsche Arzneimittelinformationen in die Patientenakten ein.
• 9 von 20 fabrizierten Informationen – z. B. „keine Knoten gefunden“ oder „Patient ängstlich“ – die nie besprochen wurden.
• 17 von 20 übersahen wichtige Details zur psychischen Gesundheit aus der Aufnahme.
• 6 von 20 ließen psychische Gesundheitsprobleme ganz oder teilweise aus.

Der Prüfungsbericht kritisierte auch die Bewertungsmethodik. Die Genauigkeit medizinischer Aufzeichnungen machte nur 4% der Gesamtpunktzahl aus, während eine lokale Präsenz in Ontario mit 30% zu Buche schlug. Kontrollen zu Voreingenommenheit, Bedrohungs-/Risiko-/Datenschutzbewertungen und SOC-2-Typ-2-Konformität trugen jeweils nur 2–4% bei. Wie der Bericht feststellt, könnte eine solche Gewichtung „dazu führen, dass Anbieter ausgewählt werden, deren KI-Tools ungenaue oder verzerrte Krankenakten produzieren.“

Obwohl OntarioMD die manuelle Überprüfung von KI-Notizen empfohlen hat, stellte die Prüfung fest, dass in keinem zugelassenen System eine obligatorische Bestätigungsfunktion vorhanden ist. Ontario’s Gesundheitsministerium gab an, dass über 5.000 Ärzte diese Tools verwenden und keine Patientenschäden gemeldet wurden.