Google сообщает, что хакерские атаки с использованием ИИ достигли промышленных масштабов за 3 месяца

Группа разведки угроз Google опубликовала отчет, детализирующий, что взломы с помощью ИИ достигли промышленных масштабов всего за три месяца. Джон Халтквист, главный аналитик группы, сказал: «Существует заблуждение, что гонка уязвимостей ИИ неизбежна. Реальность такова, что она уже началась».
Преступные группы и связанные с государствами акторы из Китая, Северной Кореи и России широко используют коммерческие модели, включая Gemini, Claude и инструменты OpenAI, для доработки и масштабирования атак. В отчете подчеркивается, что ИИ позволяет злоумышленникам тестировать операции, удерживаться в системах жертв, создавать более качественное вредоносное ПО и повышать скорость, масштаб и сложность атак.
Примечательно, что недавно одна преступная группа была на грани использования уязвимости нулевого дня для проведения кампании массовой эксплуатации
и, по-видимому, использовала ИИ LLM, не являющийся Mythos от Anthropic (Anthropic отказалась выпускать эту модель после того, как она обнаружила уязвимости нулевого дня во всех основных ОС и браузерах). В отчете также говорится, что группы экспериментируют
с OpenClaw — инструментом ИИ-агента, который стал вирусным в феврале, предлагая неограниченную автономию, включая массовое удаление почтовых ящиков.
Стивен Мердок, профессор инженерии безопасности в Университетском колледже Лондона, прокомментировал: «Вот почему я не паникую. В целом мы достигли этапа, когда старый способ обнаружения ошибок ушел в прошлое, и теперь все будет с помощью LLM».
Отдельно Институт Ады Лавлейс предупредил, что оценки производительности, движущие государственные инвестиции в ИИ, часто основаны на непроверенных предположениях и могут не привести к реальным результатам, таким как улучшение услуг или благополучия работников.
📖 Read the full source: HN AI Agents
👀 Смотрите также

pi-governance: управление доступом на основе ролей (RBAC), защита от утечек данных (DLP) и аудит журналов для кодирующих агентов OpenClaw
pi-governance — это плагин, который располагается между ИИ-агентами для программирования и вашей системой, классифицируя вызовы инструментов и блокируя рискованные операции. Он обеспечивает блокировку bash-команд, сканирование DLP на наличие секретов и PII, управление доступом на основе ролей и структурированное аудит-логирование без необходимости настройки.

Выход Agent-Drift Security Tool версии 0.1.2: Шаг вперед в области безопасности ИИ
Инструмент безопасности Agent-Drift v0.1.2 теперь доступен, предлагая улучшенные функции безопасности для кодирующих агентов ИИ. Этот обновленный вариант решает ключевые проблемы безопасности в автоматизации.

Исследователи в области ИИ-безопасности: ваши уязвимости нулевого дня могут быть раскрыты через функцию согласия на передачу данных
Переключатель 'Улучшить модель для всех' в интерфейсах LLM может автоматически собирать глубокие исследования red-teaming, отправляя ваши концепции уязвимостей командам безопасности поставщиков и потенциально в академические статьи до вашей публикации. Отключите обмен данными перед проведением серьёзных исследований безопасности.

Исследование: Невидимые символы Unicode могут перехватывать управление агентами LLM через доступ к инструментам
Исследование проверило, следуют ли большие языковые модели (LLM) инструкциям, скрытым в невидимых символах Юникода, встроенных в обычный текст, используя две схемы кодирования для пяти моделей и 8 308 оцененных ответов. Ключевой вывод: доступ к инструментам повышает выполнение инструкций с менее 17% до 98-100%, при этом модели пишут скрипты на Python для декодирования скрытых символов.