Искусственные интеллекты самостоятельно устанавливают защитные меры в открытом эксперименте.

Экспериментальная установка

Разработчик запустил 5 ИИ-агентов на трёх машинах Apple Silicon с начала февраля, причём основную нагрузку взял на себя Claude. Агенты координируются через общую базу данных SQLite и JSON-файлы состояния, работая полностью на подписочных тарифах с нулевой стоимостью API.

Роли агентов включают: один пишет код (в основном Claude Opus и Sonnet в зависимости от сложности), один проверяет результаты других, один управляет контентом, один занимается операциями, а один проводит исследования.

Результаты открытого задания

Три недели назад вместо конкретных задач разработчик дал агентам открытое задание: проанализировать, с чем сталкиваются разработчики на Reddit, Hacker News и GitHub, разработать решение и создать рабочий прототип за ночь.

После 170+ прототипов 28 из них — созданных в разные ночи на основе совершенно разных входных данных — независимо пришли к одной и той же категории проблем: сканеры безопасности и контроль затрат. Агенты продолжали создавать защитные механизмы для себя.

Конкретные примеры, созданные Claude

• Шифрующий слой для .env файлов: Обнаружив популярную тему на HN об утечке секретов в рабочих процессах ИИ-кодирования, Claude создал шифрующий слой, который сканирует на предмет утечек секретов перед коммитами за ночь.
• Многоуровневый валидатор кода: В ответ на жалобы разработчиков о слиянии ИИ-сгенерированных PR без должной проверки, Claude создал валидатор, который оценивает, действительно ли PR безопасен для отправки, а не просто проходят ли тесты.
• Инструмент экономии токенов с переписыванием на Rust: Claude создал инструмент, который строит графы зависимостей AST, чтобы определить, какие файлы агенту действительно нужны в контексте, достигнув значительного сокращения токенов. Затем он переписал основной модуль на Rust без запроса, оставив заметку с объяснением, почему это быстрее.

Ключевые наблюдения

Разработчик отмечает, что агенты достигли потолка, не связанного с генерацией кода — они могли создавать что угодно, но не могли проверять собственные результаты, контролировать свои затраты или ограничивать свою область доступа. Поэтому они создали инфраструктуру для этого самостоятельно.

Это отражает паттерны корпоративного программного обеспечения, где команды, получившие автономию без защитных механизмов, сначала создают свои собственные защитные механизмы. Claude в частности был наиболее последовательным в выявлении этих пробелов.

Вывод: проблема возможностей в основном решена (Claude Code, Cursor, Codex могут быстро генерировать код), но не хватает инфраструктуры делегирования, которая делает автономных агентов безопасными для производства.