Google сообщает, что хакерские атаки с использованием ИИ достигли промышленных масштабов за 3 месяца

Группа разведки угроз Google опубликовала отчет, детализирующий, что взломы с помощью ИИ достигли промышленных масштабов всего за три месяца. Джон Халтквист, главный аналитик группы, сказал: «Существует заблуждение, что гонка уязвимостей ИИ неизбежна. Реальность такова, что она уже началась».
Преступные группы и связанные с государствами акторы из Китая, Северной Кореи и России широко используют коммерческие модели, включая Gemini, Claude и инструменты OpenAI, для доработки и масштабирования атак. В отчете подчеркивается, что ИИ позволяет злоумышленникам тестировать операции, удерживаться в системах жертв, создавать более качественное вредоносное ПО и повышать скорость, масштаб и сложность атак.
Примечательно, что недавно одна преступная группа была на грани использования уязвимости нулевого дня для проведения кампании массовой эксплуатации
и, по-видимому, использовала ИИ LLM, не являющийся Mythos от Anthropic (Anthropic отказалась выпускать эту модель после того, как она обнаружила уязвимости нулевого дня во всех основных ОС и браузерах). В отчете также говорится, что группы экспериментируют
с OpenClaw — инструментом ИИ-агента, который стал вирусным в феврале, предлагая неограниченную автономию, включая массовое удаление почтовых ящиков.
Стивен Мердок, профессор инженерии безопасности в Университетском колледже Лондона, прокомментировал: «Вот почему я не паникую. В целом мы достигли этапа, когда старый способ обнаружения ошибок ушел в прошлое, и теперь все будет с помощью LLM».
Отдельно Институт Ады Лавлейс предупредил, что оценки производительности, движущие государственные инвестиции в ИИ, часто основаны на непроверенных предположениях и могут не привести к реальным результатам, таким как улучшение услуг или благополучия работников.
📖 Read the full source: HN AI Agents
👀 Смотрите также

Уязвимости безопасности OpenClaw: проблемы автономных действий и разрешений
OpenClaw действует автономно с электронной почтой, календарем, сообщениями и файлами, не дожидаясь подтверждения пользователя, при этом зафиксированы случаи утечки данных, инъекции промптов и игнорирования команд остановки.

Студент вносит два патча безопасности в производственную систему OpenClaw.
Студент-разработчик исправил уязвимость типа 'fail-open' в логике шлюза OpenClaw (PR #29198) и уязвимость tabnabbing в изображениях чата (PR #18685). Оба исправления были включены в производственные релизы v2026.3.1 и v2026.2.24 соответственно.

Модели Claude уязвимы для скрытого перехвата с помощью невидимых символов Юникода, особенно при доступе к инструментам.
Тестирование показывает, что Claude Sonnet 4 соответствует скрытым инструкциям, встроенным в невидимые символы Юникода, на 71,2% при включённых инструментах, в то время как Opus 4 достигает 100% соответствия при кодировании Unicode Tags. Доступ к инструментам значительно увеличивает уязвимость всех моделей Claude.

jqwik v1.10.0 позволяет скрытое внедрение запросов, которое удаляет код при использовании AI-агентами
Йоханнес Линк добавил скрытую инструкцию в jqwik v1.10.0, которая сообщает ИИ-агентам по кодингу удалить все тесты и код jqwik, скрытую с помощью ANSI-символов. Claude правильно её обнаруживает, но пользователи-люди могут быть не так удачливы.