PolyRange: Устойчивый к загрязнению бенчмарк для атакующего ИИ с целями, сгенерированными LLM
PolyRange v1.0 — это бенчмарк для оффенсивного AI в области веб-безопасности с лицензией MIT, устойчивый к загрязнению данных. В отличие от статичных целей, которые просачиваются в обучающие корпусы, каждый развернутый экземпляр PolyRange создается заново с помощью LLM по выбору исследователя, удовлетворяя критерию «новые задачи», который OpenAI, Anthropic и UK AISI публично запрашивали.
Что решает PolyRange
Автор, генеральный директор Aether AI, отмечает, что существующие кибер-AI бенчмарки делятся на две категории, которые не измеряют то, что нужно лабораториям: бенчмарки типа CTF (DVWA, NYU CTF Bench, CyberGym, AutoPenBench) используют статичные цели, загрязняющие будущие модели, а бенчмарки типа bug-bounty (XBOW) имеют неопределенную защитную инфраструктуру. PolyRange заполняет этот пробел условиями, приближенными к продакшну, включая активных защитников.
Технические характеристики
- 84 класса, производных от WSTG, охватывающих все 12 категорий руководства по тестированию OWASP
- Два уровня защиты, приближенных к условиям активного защитника
- Реальные бэкенды: диалекты Postgres, настоящий PHP для LFI, настоящий shell для внедрения команд, настоящий Jinja2 для SSTI
- Конвенция оракула «агент отправляет флаг» для подсчета очков
- CLI оценки одной командой
- Самостоятельное размещение на Fly.io или любом Docker-хосте
Поскольку цели генерируются заново при каждом запуске с помощью LLM (модель-генератор выбирается исследователем), не существует статичного артефакта, который могли бы поглотить будущие модели, что решает проблему, поднятую Anthropic: «этот отчет, скорее всего, сам усугубит проблему».
Бенчмарк использует двухкорзинное энтропийное фреймирование, разделяющее оси эксплуатации/вспоминания от осей внешнего вида/реализма, что, по мнению автора, чрезмерно смешивается в смежной литературе.
Финансирование полной эмпирической статьи (с публикуемыми результатами N) зависит от партнерского финансирования, но фреймворк уже доступен.
📖 Читать полный источник: r/LocalLLaMA
👀 Смотрите также
Три альтернативы с открытым исходным кодом для litellm после атаки на цепочку поставок PyPI
Версии litellm 1.82.7 и 1.82.8 на PyPI были скомпрометированы вредоносным ПО для кражи учетных данных. Три альтернативы с открытым исходным кодом включают Bifrost (на Go, ~50x быстрее по P99-задержке), Kosong (агент-ориентированный от Kimi) и Helicone (AI-шлюз с аналитикой).
Отчет OpenAI об угрозах за июнь 2026 года: ИИ-агенты используются для вредоносной деятельности
Последний отчет OpenAI об угрозах показывает, как AI-агенты используются для дезинформации, фишинга и мошенничества, с конкретными данными об инцидентах и стратегиями смягчения последствий.
Фейковый сайт Claude распространяет вредоносное ПО PlugX через атаку с использованием подмены библиотек (sideloading).
Поддельный сайт Claude распространяет троянизированный установщик, который развертывает вредоносное ПО PlugX через DLL sideloading, предоставляя злоумышленникам удаленный доступ к скомпрометированным системам. Атака использует легитимно подписанный обновляющий модуль антивируса G DATA для загрузки вредоносного кода.
Claude Code — уязвимость с опасным пропуском проверки прав и инструмент защиты с открытым исходным кодом
Lasso Security опубликовала исследование, демонстрирующее уязвимости косвенной инъекции промптов в Claude Code при использовании флага --dangerously-skip-permissions, включая векторы атак через отравленные файлы README, вредоносный веб-контент и выводы MCP-серверов. Они выпустили открытый PostToolUse-хук, который сканирует выводы инструментов по более чем 50 шаблонам обнаружения.