Израильский стартап Irregular связан с несанкционированными AI-взломами в OpenAI, Anthropic и Meta
CNBC сообщает, что израильский стартап под названием Irregular связан с серией недобросовестных AI-атак, направленных на OpenAI, Anthropic и Meta. Атаки, которые в источнике не были подробно описаны, по-видимому, использовали уязвимости в системах ИИ этих компаний. Это развивающаяся история, имеющая значительные последствия для безопасности ИИ.
Хотя в статье CNBC не приводятся конкретные технические детали взломов, она подчеркивает растущую проблему: лаборатории ИИ все чаще становятся мишенями для злоумышленников. Участие стартапа, а не государства, позволяет предположить, что взлом ИИ становится более доступным и коммерчески мотивированным.
Для разработчиков и практиков ИИ этот инцидент подчеркивает важность укрепления систем ИИ против состязательных атак. Передовые методы включают регулярные проверки безопасности, мониторинг необычного поведения моделей и внедрение надежной проверки входных данных для предотвращения инъекций в промпты и других эксплойтов.
Мы продолжим следить за этой историей по мере появления новых деталей. Для получения последней информации ознакомьтесь с полным отчетом CNBC по ссылке ниже.
📖 Читайте полный источник: HN LLM Tools
👀 Смотрите также
Изоляция AI-агентов с помощью WebAssembly: нулевое доверие по умолчанию
Cosmonic утверждает, что традиционная изоляция (seccomp, bubblewrap) не подходит для AI-агентов из-за фоновых полномочий. Модель на основе возможностей WebAssembly предоставляет нулевые полномочия по умолчанию, требуя явного импорта для файловой системы, сети или учетных данных.
OpenClaw Skill Analyzer: Статический сканер безопасности для навыков ИИ-агентов
Разработчик создал статический анализатор, который сканирует навыки OpenClaw на наличие угроз безопасности перед установкой, используя более 40 правил обнаружения в 12 категориях, включая инъекцию промптов и эксфильтрацию данных.
FORGE: Фреймворк с открытым исходным кодом для тестирования безопасности ИИ-систем на основе LLM
FORGE — это автономный фреймворк для тестирования безопасности ИИ, который создаёт собственные инструменты в процессе работы, самовоспроизводится в рой и охватывает уязвимости из OWASP LLM Top 10, включая инъекцию промптов, фаззинг джейлбрейков и утечку данных из RAG.
В репозитории Claude Flow обнаружен троян в файлах skill.md
В репозитории GitHub, содержащем файлы навыков Claude Flow, был обнаружен троян, идентифицированный как JS/CrypoStealz.AE!MTB. Вредоносное ПО активировалось автоматически, когда ИИ-среда разработки открывала папку для чтения файлов markdown.