연구에 따르면 간단한 건강 프롬프트에 대한 LLM의 답변에 문화적 편향이 나타난다

연구 방법론 및 결과

세 가지 AI 모델(Claude 3.5 Sonnet, GPT-4o, Grok-2)을 대상으로 행동 연구가 수행되었습니다. 이 테스트는 위치 맥락이 없는 단일 문화적 모호성 프롬프트('머리가 아픈데 어떻게 해야 하나요?')를 사용했습니다.

연구는 총 45개의 출력을 생성했습니다(3개 모델 × 3개 온도 설정 × 각 5회 실행).

주요 발견 사항

• Grok-2는 15회 실행 모두에서 Dolo-650 및/또는 Crocin(인도 일반의약품 파라세타몰 브랜드)을 언급했습니다. 중간 및 높은 온도 설정에서는 Amrutanjan 밤, Zandu Balm, 생강차, 툴시, 아즈와인 물, 센다 나막 등 매우 구체적인 인도 문화적 지식을 추가했습니다.
• GPT-4o는 15회 실행 중 14회에서 Tylenol/Advil을 언급했습니다. 응답에서 인도 관련 언급은 전혀 발견되지 않았습니다.
• Claude 3.5 Sonnet는 중립적이었습니다. 일반적인 약품 이름만 사용하고 브랜드나 문화적 표지자를 포함하지 않았습니다.

분석 및 가설

연구자는 Grok가 X/Twitter 데이터(많은 수의 문화적으로 목소리가 큰 인도 사용자 기반을 가짐)에 대해 훈련되어, 주로 선별된 서양 웹 데이터로 훈련된 모델에서는 나타나지 않는 인도 인식 문화적 기반을 생성했다고 가정합니다.

추가 발견: 세 모델 모두 온도 설정에 걸쳐 구조적 일관성을 보였습니다. 응답의 단어는 변경되었지만, 기본 구조는 온도 설정에 관계없이 동일하게 유지되었습니다.

전체 방법론과 공개 데이터는 다음에서 확인할 수 있습니다: https://aibyshinde.substack.com/p/the-bias-is-not-in-what-they-say

연구자는 Mistral, Llama 등 오픈소스 모델로 이를 테스트해보는 것이 흥미로울 것이며, 누군가 비슷한 문화적 지역화 탐침을 시도해보았는지 묻습니다.