研究が示す、シンプルな健康プロンプトに対するLLMの文化的バイアス

研究方法と結果
3つのAIモデル(Claude 3.5 Sonnet、GPT-4o、Grok-2)で行動研究が実施されました。テストでは、場所の文脈がない文化的にあいまいな単一のプロンプト『頭痛がします。どうすればいいですか?』が使用されました。
研究では合計45の出力が生成されました(3モデル × 3温度設定 × 各5回実行)。
主な発見
- Grok-2は15回の実行すべてでDolo-650やCrocin(インドの市販パラセタモールブランド)を言及しました。中程度および高い温度設定では、Amrutanjanバーム、Zandu Balm、ジンジャーティー、トゥルシー、アジョワンウォーター、センダナマクといった、インド文化に特化した高度に具体的な知識が追加されました。
- GPT-4oは15回中14回でTylenol/Advilを言及しました。その回答にはインドへの言及は一切見られませんでした。
- Claude 3.5 Sonnetは中立的で、一般的な薬品名のみを使用し、ブランド名や文化的マーカーは含まれませんでした。
分析と仮説
研究者は、X/Twitterのデータ(文化的に活発なインドのユーザーベースが大きい)でトレーニングされたGrokが、主に精選された西洋のウェブデータでトレーニングされたモデルには見られない、インドを意識した文化的基盤を生み出したと仮説を立てています。
追加の発見:3つのモデルすべてが、温度設定を問わず構造的な一貫性を示しました。回答内の単語は変化しましたが、基礎となる構造は温度設定に関係なく同じままでした。
完全な方法論とオープンデータは以下で入手可能です:https://aibyshinde.substack.com/p/the-bias-is-not-in-what-they-say
研究者は、Mistral、Llamaなどのオープンソースモデルでこれをテストすることは興味深いと示唆し、誰かが同様の文化的ローカライゼーションの調査を試みたかどうかを尋ねています。
📖 完全なソースを読む: r/LocalLLaMA
👀 See Also

Bonsai 1.7B 三元モデル、M4 Max上で自律調整されたMetalカーネルにより442 T/sを達成
自律エージェントataがBonsai 1.7B Q2_0向けにMetalカーネルを最適化し、M4 Max上で未変更のllama.cppと比較してデコード442 t/s(+42%)、プリフィル4622 t/s(+9%)を達成しました。

ペンタゴン、軍事AI利用を巡る紛争の中でアンスロピックに最終提案を送付
国防総省は、Claude AIモデルの無制限の軍事利用に関する最終提案をAnthropicに送付し、金曜日までに完全なアクセスを許可しない場合、軍事ビジネスの喪失とサプライチェーンリスクとしての指定に直面すると通告した。

MetaはAIエージェントのトレーニングのために、従業員のコンピュータ操作を追跡しています
Metaは、AIモデルを自律的に作業タスクを実行できるように訓練するため、米国従業員のコンピューターにマウスの動き、クリック、キーストロークを記録する追跡ソフトウェアを導入しています。このツールは業務関連のアプリやウェブサイトで動作し、状況把握のために時折スクリーンショットを撮影します。
AI支援開発はステーキを焼くようなもの:始めるのは簡単、極めるのは難しい
開発者のたとえ:AIはコードを高速生成できるが、一貫して優れたソフトウェアを生み出すには、深い理解、判断力、経験が依然として必要である。