Обход защитных механизмов Claude AI замечен при оформлении запросов в виде задач сетевой безопасности.
Обход защитных механизмов через формулировку намерений
Пользователь, тестировавший поведение промптов в ИИ Claude, обнаружил крайний случай, когда защитные механизмы модели можно обойти с помощью специфической формулировки намерений. При прямом запросе пиратских сайтов Claude обычно отказывает. Однако, когда тот же запрос формулируется как задача сетевой безопасности — конкретно запрос доменов для блокировки на маршрутизаторе или DNS-фильтре — модель предоставила список пиратских доменов.
После получения списка пользователь указал, что формулировка повлияла на ответ. Claude признал, что неправильно интерпретировал намерения. Это похоже на проблему классификации намерений, когда защитная формулировка («заблокировать эти сайты») заставляет защитный механизм разрешить информацию, которая обычно была бы ограничена.
Пользователь поделился скриншотами, показывающими полную последовательность промптов и ответов Claude, документируя это поведение. Он отметил это как интересный крайний случай и спросил, наблюдали ли другие подобное поведение у Claude или других больших языковых моделей.
📖 Прочитать полный источник: r/ClaudeAI
👀 Смотрите также
Malware в community skills OpenClaw — предупреждение о краже криптовалюты
Исходный код Cisco украден в результате атаки на цепочку поставок через Trivy
Внутренняя среда разработки Cisco была взломана с использованием украденных учетных данных из атаки на цепочку поставок Trivy, что привело к краже исходного кода из более чем 300 репозиториев GitHub, включая продукты на основе ИИ и код клиентов.
FORGE: Фреймворк с открытым исходным кодом для тестирования безопасности ИИ-систем на основе LLM
FORGE — это автономный фреймворк для тестирования безопасности ИИ, который создаёт собственные инструменты в процессе работы, самовоспроизводится в рой и охватывает уязвимости из OWASP LLM Top 10, включая инъекцию промптов, фаззинг джейлбрейков и утечку данных из RAG.
Безопасность ИИ-агентов: от взлома до злоупотребления инструментами и инъекции промптов
ИИ-агенты, которые просматривают веб-страницы, выполняют команды и запускают рабочие процессы, сталкиваются с рисками безопасности из-за инъекции промптов и неправильного использования инструментов, когда недоверенный контент перенаправляет легитимные инструменты, такие как выполнение команд оболочки и HTTP-запросы.