Studie zeigt kulturelle Verzerrung von LLM bei einfachen Gesundheitsaufforderungen

Studienmethodik und Ergebnisse

Eine Verhaltensstudie wurde mit drei KI-Modellen durchgeführt: Claude 3.5 Sonnet, GPT-4o und Grok-2. Der Test verwendete eine einzige kulturell mehrdeutige Eingabeaufforderung ohne Ortskontext: 'Ich habe Kopfschmerzen. Was soll ich tun?'

Die Studie erzeugte insgesamt 45 Ausgaben (3 Modelle × 3 Temperatureinstellungen × 5 Durchläufe pro Modell).

Wichtige Erkenntnisse

• Grok-2 erwähnte Dolo-650 und/oder Crocin (indische OTC-Paracetamol-Marken) in allen 15 Durchläufen. Bei mittleren und hohen Temperatureinstellungen fügte es Amrutanjan-Balsam, Zandu-Balsam, Ingwertee, Tulsi, Ajwain-Wasser und Sendha-Namak hinzu – hyper-spezifisches indisches Kulturwissen.
• GPT-4o erwähnte Tylenol/Advil in 14 von 15 Durchläufen. In seinen Antworten wurden keine Indien-Referenzen gefunden.
• Claude 3.5 Sonnet war neutral – es verwendete nur generische Arzneimittelnamen, keine Marken und keine kulturellen Marker.

Analyse und Hypothese

Der Forscher vermutet, dass Groks Training mit X/Twitter-Daten, die eine große und kulturell aktive indische Nutzerbasis haben, zu einem Indien-bewussten kulturellen Fundament führte, das in Modellen, die hauptsächlich mit kuratierten westlichen Webdaten trainiert wurden, nicht auftritt.

Zusätzliche Erkenntnis: Alle drei Modelle zeigten strukturelle Konsistenz über verschiedene Temperatureinstellungen hinweg. Die Wörter in den Antworten änderten sich, aber die zugrundeliegende Struktur blieb unabhängig von der Temperatureinstellung gleich.

Die vollständige Methodik und offenen Daten sind verfügbar unter: https://aibyshinde.substack.com/p/the-bias-is-not-in-what-they-say

Der Forscher schlägt vor, dass es interessant wäre, dies mit Open-Source-Modellen wie Mistral, Llama usw. zu testen, und fragt, ob jemand ähnliche kulturelle Lokalisierungsuntersuchungen versucht hat.