Приложения на основе ИИ хрупки: почему мелкие изменения нарушают изоляцию данных и права доступа

Разработчики, использующие AI-инструменты для написания кода, такие как Claude Code и Cursor, сталкиваются с повторяющейся проблемой: приложения, созданные с помощью AI, оказываются хрупкими при развитии. Небольшие изменения незаметно ломают критически важную функциональность — вход в систему, права доступа, изоляцию данных. Один разработчик привел конкретный пример: простое пользовательское приложение, где переключение между аккаунтами отображало данные других пользователей. AI не написал некорректный код как таковой; он просто не понял правил владения.
Основная проблема: AI генерирует на основе структуры, а не намерений
Коренная причина в том, что AI-модели генерируют код на основе структурных шаблонов, а не исходных бизнес-намерений системы. Поэтому даже незначительные добавления могут привести к неочевидным сбоям в безопасности или авторизации.
Практические решения, которыми поделились
Разработчик нашел три подхода, которые сработали:
- Явно определяйте правила владения: конкретно указывайте, кто владеет каждой записью (например, внешний ключ
user_idс каскадным действием). - Применяйте права доступа на уровне API: никогда не полагайтесь только на проверки на фронтенде. Используйте промежуточное ПО или защиту (например,
authorize('owner', $record)) в каждом маршруте. - Не позволяйте AI выводить бизнес-логику из кода: жестко прописывайте правила авторизации и валидации, не ожидая, что модель выведет их из примеров.
Почему это важно
Поскольку все больше разработчиков используют AI-агентов для быстрой разработки приложений, понимание этих режимов отказа крайне важно. Если не контролировать, AI может создавать приложения, которые выглядят работоспособными, но имеют серьезные ошибки изоляции данных и повышения привилегий. Этот пост нашел отклик у многих в сообществе r/ClaudeAI, что указывает на широко распространенную проблему.
Для команд, создающих приложения с помощью AI, вывод очевиден: вкладывайте средства в явную авторизацию на уровне API с самого начала и относитесь к сгенерированному AI коду как к черновику, требующему тщательной проверки безопасности, особенно в части владения и разрешений.
📖 Источник: r/ClaudeAI
👀 Смотрите также

Кейлгард: Открытый сканер безопасности для навыков OpenClaw
Caelguard — это сканер с лицензией MIT, работающий локально, который обнаруживает проблемы безопасности в навыках OpenClaw, включая инъекцию промптов, сбор учетных данных и обфусцированные полезные нагрузки. Исследования показывают, что примерно 20% опубликованных навыков содержат тревожные паттерны.

ЭктоКоготь: Инструмент безопасности для агентов OpenClaw с доступом к терминалу
EctoClaw — это бесплатный инструмент безопасности с открытым исходным кодом для OpenClaw, который проверяет каждое действие четыре раза перед выполнением, запускает действия в защищённой песочнице и записывает всё с доказательствами.

Языковые модели могут идентифицировать анонимных пользователей форумов с точностью 68% при 90% прецизионности.
Исследователи использовали Gemini и ChatGPT для анализа постов с Hacker News и Reddit, идентифицировав 68% анонимных пользователей с точностью 90%. Модели выполнили за минуты то, что заняло бы у людей часы или было бы невозможно.

Интеграция агента OpenClaw SOC для охоты за угрозами в домашней лаборатории SIEM
Пользователь Reddit делится своей открытой SIEM-системой под названием Red Threat Redemption на Debian 13, которая интегрирует Elasticsearch, Kibana, Wazuh, Zeek и pfSense с Suricata, а затем добавляет ИИ-агента для автоматической корреляции угроз, охоты и сортировки оповещений.