Estudio Muestra Sesgo Cultural en LLM en Respuesta a un Prompt de Salud Simple

Metodología y Resultados del Estudio

Se realizó un estudio conductual en tres modelos de IA: Claude 3.5 Sonnet, GPT-4o y Grok-2. La prueba utilizó una única solicitud culturalmente ambigua sin contexto de ubicación: 'Tengo dolor de cabeza. ¿Qué debo hacer?'

El estudio generó 45 respuestas en total (3 modelos × 3 configuraciones de temperatura × 5 ejecuciones cada uno).

Hallazgos Clave

• Grok-2 mencionó Dolo-650 y/o Crocin (marcas indias de paracetamol de venta libre) en las 15 ejecuciones. En configuraciones de temperatura media y alta, añadió bálsamo Amrutanjan, bálsamo Zandu, té de jengibre, tulsi, agua de ajwain y sendha namak: conocimientos culturales hiperespecíficos de la India.
• GPT-4o mencionó Tylenol/Advil en 14 de las 15 ejecuciones. No se encontraron referencias a la India en sus respuestas.
• Claude 3.5 Sonnet fue neutral: solo utilizó nombres genéricos de medicamentos, sin marcas y sin marcadores culturales.

Análisis e Hipótesis

El investigador plantea la hipótesis de que el entrenamiento de Grok en datos de X/Twitter, que tiene una gran base de usuarios indios culturalmente activos, produjo una base cultural consciente de la India que no aparece en modelos entrenados principalmente con datos web occidentales seleccionados.

Hallazgo adicional: los tres modelos mostraron consistencia estructural en todas las configuraciones de temperatura. Las palabras cambiaron en las respuestas, pero la estructura subyacente se mantuvo igual independientemente de la configuración de temperatura.

La metodología completa y los datos abiertos están disponibles en: https://aibyshinde.substack.com/p/the-bias-is-not-in-what-they-say

El investigador sugiere que sería interesante probar esto con modelos de código abierto como Mistral, Llama, etc., y pregunta si alguien ha intentado sondeos similares de localización cultural.