Почему внутренние RAG и doc-chat инструменты не проходят аудиты безопасности

Дискуссия в сообществе LocalLLaMA исследует, почему технически работающие RAG и документ-чат инструменты часто блокируются при развёртывании в продакшен из-за проблем безопасности, комплаенса или аудита.

Распространённые блокеры

• Утечка данных — опасения по поводу раскрытия чувствительных данных через эмбеддинги, извлечённые чанки или ответы модели
• Доступ к модели / риски вендора — зависимости от сторонних API создают уязвимости цепочки поставок
• Логирование и аудируемость — недостаточные журналы аудита о том, кто к какой информации и когда обращался
• Промпт-инъекции — риск манипуляции поведением модели через вредоносный контент в документах
• Требования комплаенса — SOC2, ISO 27001, HIPAA, GDPR и другие регуляторные рамки

Стратегии митигации

• Развёртывание on-premise или в частном облаке для решения проблем резидентности данных
• Полное логирование всех запросов и извлечённых документов
• Интеграция контроля доступа с существующими системами идентификации
• Санитизация ввода и фильтрация вывода
• Регулярные оценки безопасности и тестирование на проникновение