Оценка AISI демонстрирует кибервозможности Claude Mythos Preview в CTF и многошаговых атаках.

Институт искусственного интеллекта и безопасности (AISI) провёл кибероценки предварительной версии Claude Mythos от Anthropic, оценив её производительность в заданиях типа "захват флага" и многошаговых симуляциях атак. Модель показала значительное улучшение по сравнению с предыдущими передовыми моделями в области кибербезопасности.

Результаты "Захвата флага"

В заданиях CTF, где модели должны идентифицировать и использовать уязвимости для получения скрытых флагов, Mythos Preview достигла 73% успеха на экспертных задачах. Эти задачи экспертного уровня до апреля 2025 года не могла выполнить ни одна модель. Оценка сравнивала производительность на разных уровнях сложности — от технического неспециалиста до эксперта, при этом модели тестировались с использованием бюджетов токенов до 50 миллионов.

Результаты киберполигона

AISI создал "Последних" (TLO) — 32-шаговую симуляцию атаки на корпоративную сеть, охватывающую от первоначальной разведки до полного захвата сети, на выполнение которой, по оценкам, человеку потребовалось бы 20 часов. Claude Mythos Preview стала первой моделью, решившей TLO от начала до конца, добившись успеха в 3 из 10 попыток. В среднем по всем попыткам модель завершала 22 из 32 шагов.

Следующей по производительности моделью был Claude Opus 4.6, который в среднем завершал 16 шагов. Оценка использовала бюджеты токенов до 100 миллионов, причём производительность продолжала расти вплоть до этого предела.

Ограничения и контекст

Модель не смогла завершить киберполигон "Охлаждающая башня", ориентированный на операционные технологии, хотя она застряла на разделах IT, а не на специфичных для OT частях. AISI отмечает, что два года назад лучшие доступные модели едва справлялись с задачами кибербезопасности начального уровня, тогда как сейчас, в контролируемых оценках, где Mythos Preview была явно направлена и получила доступ к сети, она могла выполнять многоэтапные атаки на уязвимые сети, а также самостоятельно обнаруживать и использовать уязвимости.