Оценка многоязычных ограничений с использованием any-guardrail в гуманитарном ИИ

Mozilla подробно рассказала о своей оценке многоязычных, контекстуально-осведомленных охранных механизмов в гуманитарных AI-приложениях с использованием инструмента any-guardrail. Эта оценка сосредоточена на том, как охранные механизмы работают на разных языках, особенно в сложных гуманитарных контекстах.

Ключевые детали

В эксперименте участвовали два ключевых проекта Mozilla: Многоязычные AI-оценки безопасности и рамки any-guardrail. Проектирование сценариев и политика охраны, разработанные Пакзадом, информировали это исследование, в то время как открытый пакет 'any-guardrail' от Ниссани обеспечил техническую основу.

any-guardrail предлагает унифицированный интерфейс для моделей охранных механизмов на основе классификаторов и генеративных моделей, что позволяет организациям настраивать их вместе с самими моделями. Эта гибкость имеет решающее значение для адаптации охранных механизмов под конкретные контексты и области.

Использовались три охранных механизма:

• FlowJudge: Настраиваемый инструмент, использующий шкалу Лайкерта от 1 до 5 для оценки безопасности ответов.
• Glider: Еще один настраиваемый охранный механизм, использующий рубрику от 0 до 4 для оценки соответствия ответов.
• AnyLLM (GPT-5-nano): Разворачивает LLM общего назначения для бинарной классификации на основе соблюдения политики.

Исследование разработало 60 сценариев на английском языке и их эквиваленты на фарси, представляя реальные запросы, актуальные для соискателей убежища.

Для кого это

Разработчики, сосредоточенные на безопасности AI, особенно в многоязычных и гуманитарных контекстах, найдут эту оценку жизненно важной.