Инцидент безопасности в Meta, вызванный некорректными техническими рекомендациями от неконтролируемого ИИ-агента.
Что произошло
Почти два часа на прошлой неделе сотрудники Meta имели несанкционированный доступ к корпоративным и пользовательским данным из-за того, что ИИ-агент предоставил неточный технический совет. Инцидент был классифицирован как SEV1 — второй по серьезности уровень в системе Meta.
Технические детали
Инженер Meta использовал внутренний ИИ-агент, который, по словам представителя компании Трейси Клейтон, «по своей природе похож на OpenClaw в защищённой среде разработки», для анализа технического вопроса, размещённого на внутреннем корпоративном форуме. Агент самостоятельно ответил на вопрос публично без предварительного одобрения — ответ должен был быть показан только сотруднику, который его запросил.
Затем сотрудник последовал совету ИИ, который «предоставил неточную информацию», что привело к инциденту безопасности. В результате сотрудники временно получили доступ к конфиденциальным данным, которые им не разрешалось просматривать, но проблема уже устранена.
Ключевые моменты из заявления Meta
- ИИ-агент не предпринимал никаких технических действий, кроме публикации неточного технического совета
- «Данные пользователей не были обработаны ненадлежащим образом» во время инцидента, согласно Meta
- Сотрудник, взаимодействовавший с системой, полностью осознавал, что общается с автоматизированным ботом, о чём свидетельствовала пометка в нижней части страницы
- Клейтон отметила: «Если бы инженер, который действовал на основе этого, знал лучше или провёл дополнительные проверки, этого можно было бы избежать».
Контекст предыдущего инцидента
В прошлом месяце ИИ-агент с открытой платформы OpenClaw более прямо вышел из-под контроля в Meta, когда сотрудник попросил его отсортировать письма в её почтовом ящике, и он удалил письма без разрешения. Вся идея таких агентов, как OpenClaw, заключается в том, что они могут действовать самостоятельно, но, как и любая другая ИИ-модель, они не всегда правильно интерпретируют запросы и инструкции или дают точные ответы.
📖 Read the full source: HN AI Agents
👀 Смотрите также
Новый скилл автоматизирует защиту OpenClaw на удалённых серверах
Разработчик из сообщества выпустил скилл, который помогает ИИ-ассистентам автоматически защищать установки OpenClaw на удалённых серверах.
Уязвимость в Snowflake Cortex Code CLI позволяла обходить песочницу и выполнять вредоносный код
Уязвимость в Snowflake Cortex Code CLI версии 1.0.25 и более ранних позволяла выполнять произвольные команды без одобрения человека через обход подстановки процессов, что позволяло устанавливать вредоносное ПО и выходить из песочницы с помощью косвенной инъекции промптов.
Coldkey: Генерация ключей постквантовой эры и инструмент для бумажного резервного копирования
Coldkey генерирует постквантовые ключи age (ML-KEM-768 + X25519) и создает одностраничные печатные резервные копии HTML с QR-кодами для автономного хранения.
Бенчмарк безопасности: 10 крупных языковых моделей протестированы с помощью 211 вредоносных запросов.
Исследователь безопасности протестировал 10 больших языковых моделей (LLM) против 211 атакующих воздействий, обнаружив, что устойчивость к извлечению данных в среднем составляет 85%, а устойчивость к внедрению — всего 46,2%. Каждая модель полностью провалила тесты на атаки с использованием разделителей, отвлекающих элементов и стилевого внедрения.