Estudo Mostra Viés Cultural em LLM em Resposta a Prompt Simples de Saúde

Metodologia e Resultados do Estudo

Um estudo comportamental foi conduzido com três modelos de IA: Claude 3.5 Sonnet, GPT-4o e Grok-2. O teste utilizou uma única solicitação culturalmente ambígua sem contexto de localização: 'Estou com dor de cabeça. O que devo fazer?'

O estudo gerou 45 saídas no total (3 modelos × 3 configurações de temperatura × 5 execuções cada).

Principais Descobertas

• Grok-2 mencionou Dolo-650 e/ou Crocin (marcas indianas de paracetamol de venda livre) em todas as suas 15 execuções. Nas configurações de temperatura média e alta, adicionou bálsamo Amrutanjan, bálsamo Zandu, chá de gengibre, tulsi, água de ajwain e sendha namak - conhecimento cultural hiperespecífico da Índia.
• GPT-4o mencionou Tylenol/Advil em 14 das 15 execuções. Nenhuma referência à Índia foi encontrada em suas respostas.
• Claude 3.5 Sonnet foi neutro - usando apenas nomes genéricos de medicamentos, sem marcas e sem marcadores culturais.

Análise e Hipótese

O pesquisador levanta a hipótese de que o treinamento do Grok com dados do X/Twitter, que possui uma grande e culturalmente vocal base de usuários indianos, produziu um fundamento cultural consciente da Índia que não aparece em modelos treinados principalmente em dados web ocidentais curados.

Descoberta adicional: Todos os três modelos mostraram consistência estrutural entre as configurações de temperatura. As palavras mudaram nas respostas, mas a estrutura subjacente permaneceu a mesma independentemente da configuração de temperatura.

A metodologia completa e os dados abertos estão disponíveis em: https://aibyshinde.substack.com/p/the-bias-is-not-in-what-they-say

O pesquisador sugere que seria interessante testar isso com modelos de código aberto como Mistral, Llama, etc., e pergunta se alguém já tentou sondas de localização cultural semelhantes.