Google TIG сообщает о первом в реальных условиях эксплойте для нулевого дня, созданном ИИ

Группа угроз Google (GTIG) опубликовала отчет, в котором описывается первый случай использования ИИ в наступательных целях для эксплуатации уязвимостей zero-day. Согласно отчету, криминальный субъект угрозы разработал эксплойт zero-day с использованием ИИ, планируя массовую эксплуатацию. Упреждающее контробнаружение GTIG, возможно, предотвратило его использование.

Ключевые выводы

• Эксплойт zero-day, созданный ИИ: Впервые GTIG выявила субъекта угрозы, использующего эксплойт zero-day, который, вероятно, был разработан с помощью ИИ. Эксплойт предназначался для массовой эксплуатации, но был потенциально нейтрализован вмешательством Google.
• Государственный интерес: Субъекты угроз, связанные с Китайской Народной Республикой (КНР) и Корейской Народно-Демократической Республикой (КНДР), проявили значительный интерес к использованию ИИ для обнаружения уязвимостей.
• Вредоносное ПО с ИИ: Субъекты из России применяют программирование на основе ИИ для создания полиморфного вредоносного ПО и сетей обфускации для обороны. Вредоносное ПО PROMPTSPY является примером автономной атакующей оркестровки, интерпретирующей системные состояния для динамической генерации команд.
• Автономное вредоносное ПО: PROMPTSPY представляет собой переход к автономным операциям вредоносного ПО, где модели ИИ берут на себя операционные задачи для масштабируемой и адаптивной деятельности.
• Атаки на цепочки поставок ИИ: Противники, такие как TeamPCP (также известный как UNC6780), нацеливаются на среды ИИ и программные зависимости для первоначального доступа, затем переключаются на более широкие сети для программ-вымогателей и вымогательства.
• Обфусцированный доступ к LLM: Субъекты угроз используют автоматизированные конвейеры регистрации и промежуточное ПО премиум-класса для обхода лимитов использования при массовом неправомерном использовании моделей.

Последствия для разработчиков

Этот отчет подчеркивает, что ИИ сейчас является обоюдоострым оружием: злоумышленники используют генеративные модели для ускорения разработки эксплойтов, в то время как защитники могут применять инструменты, такие как Google Big Sleep (агент ИИ для обнаружения уязвимостей) и CodeMender (автоматическая генерация исправлений), чтобы противостоять этим угрозам. Безопасная интеграция компонентов ИИ критически важна, поскольку атаки на цепочки поставок ПО ИИ (риски "Insecure Integrated Component" и "Rogue Actions" по таксономии SAIF) становятся все более распространенными.

Разработчики, использующие агенты кодирования на основе ИИ, должны осознавать, что те же модели, которые повышают производительность, также используются в качестве оружия. Оборонительные меры включают активное сканирование уязвимостей, мониторинг аномальных шаблонов кода, генерируемых ИИ, и защиту инструментов ИИ в своей цепочке поставок.