Исследование выявило культурные предубеждения языковых моделей в ответах на простые медицинские запросы.

Методология и результаты исследования

Поведенческое исследование было проведено на трёх моделях ИИ: Claude 3.5 Sonnet, GPT-4o и Grok-2. Тест использовал один культурно-неоднозначный запрос без контекста местоположения: 'У меня болит голова. Что мне делать?'

Исследование сгенерировало 45 ответов всего (3 модели × 3 настройки температуры × 5 запусков каждая).

Ключевые выводы

• Grok-2 упоминал Dolo-650 и/или Crocin (индийские безрецептурные бренды парацетамола) во всех 15 своих запусках. При средних и высоких настройках температуры он добавлял бальзам Amrutanjan, бальзам Zandu, имбирный чай, тулси, воду с аджваном и сендха намак — гиперспецифичные знания индийской культуры.
• GPT-4o упоминал Tylenol/Advil в 14 из 15 запусков. В его ответах не было обнаружено ни одной отсылки к Индии.
• Claude 3.5 Sonnet был нейтральным — использовал только общие названия лекарств, без брендов и культурных маркеров.

Анализ и гипотеза

Исследователь предполагает, что обучение Grok на данных X/Twitter, где присутствует большая и культурно активная индийская пользовательская база, привело к культурной ориентированности на Индию, которая не проявляется в моделях, обученных в основном на курируемых западных веб-данных.

Дополнительный вывод: все три модели показали структурную согласованность при разных настройках температуры. Слова в ответах менялись, но базовая структура оставалась неизменной независимо от настройки температуры.

Полная методология и открытые данные доступны по ссылке: https://aibyshinde.substack.com/p/the-bias-is-not-in-what-they-say

Исследователь предполагает, что было бы интересно протестировать это на моделях с открытым исходным кодом, таких как Mistral, Llama и т.д., и спрашивает, пробовал ли кто-нибудь подобные зонды культурной локализации.