Почему внутренние RAG и doc-chat инструменты не проходят аудиты безопасности
Дискуссия в сообществе LocalLLaMA исследует, почему технически работающие RAG и документ-чат инструменты часто блокируются при развёртывании в продакшен из-за проблем безопасности, комплаенса или аудита.
Распространённые блокеры
- Утечка данных — опасения по поводу раскрытия чувствительных данных через эмбеддинги, извлечённые чанки или ответы модели
- Доступ к модели / риски вендора — зависимости от сторонних API создают уязвимости цепочки поставок
- Логирование и аудируемость — недостаточные журналы аудита о том, кто к какой информации и когда обращался
- Промпт-инъекции — риск манипуляции поведением модели через вредоносный контент в документах
- Требования комплаенса — SOC2, ISO 27001, HIPAA, GDPR и другие регуляторные рамки
Стратегии митигации
- Развёртывание on-premise или в частном облаке для решения проблем резидентности данных
- Полное логирование всех запросов и извлечённых документов
- Интеграция контроля доступа с существующими системами идентификации
- Санитизация ввода и фильтрация вывода
- Регулярные оценки безопасности и тестирование на проникновение
📖 Читать полный источник: r/LocalLLaMA
👀 Смотрите также
Вредоносный пакет PyTorch Lightning крадет учетные данные и внедряет червей в пакеты npm
Пакет PyPI 'lightning' версий 2.6.2 и 2.6.3 содержит вредоносное ПО в стиле Шаи-Хулуда, которое крадет учетные данные, токены и облачные секреты, а также распространяется на пакеты npm через внедренные полезные нагрузки JavaScript.
Предупреждение системы безопасности: Вредоносный код в LiteLLM может похищать API-ключи
Обнаружена критическая уязвимость безопасности в LiteLLM, которая может раскрыть API-ключи. Пользователи OpenClaw или nanobot могут быть затронуты и должны проверить связанные проблемы на GitHub, указанные в источнике.
Оценка AISI демонстрирует кибервозможности Claude Mythos Preview в CTF и многошаговых атаках.
Институт искусственного интеллекта и безопасности оценил предварительную версию Claude Mythos от Anthropic, обнаружив, что она успешно выполнила 73% экспертных заданий типа "захват флага" и решила симуляцию корпоративной сетевой атаки из 32 шагов в 3 из 10 попыток.
Уязвимости безопасности обнаружены в образовательном приложении, представленном на Lovable.
Исследователь безопасности обнаружил 16 уязвимостей в образовательном приложении, представленном на платформе Lovable, включая критические ошибки в логике аутентификации, которые позволили получить доступ к 18 697 пользовательским записям без авторизации. Приложение набрало более 100 000 просмотров в шоукейсе Lovable и имело реальных пользователей из UC Berkeley, UC Davis и школ по всему миру.