Искусственный интеллект восстановил работу интернет-магазина после сбоя в 3 часа ночи без участия человека.

Интернет-магазин, полностью управляемый ИИ-агентами, столкнулся с производственным сбоем в 3 часа ночи, когда один из агентов вызвал необработанное исключение, которое вывело из строя конвейер заказов. Система самостоятельно восстановила работу, не разбудив ни одного оператора.

Как работала самовосстанавливающаяся система

Архитектура автоматически обнаружила сбой, определила первопричину, попыталась устранить проблему, проверила восстановление и возобновила нормальную работу. Всё это произошло до утреннего брифинга, и ни один человек не был вызван или разбужен.

Настоящая сложность

По словам команды, самой сложной частью было не создание системы обнаружения. Наиболее трудным аспектом стало определение того, что системе разрешено исправлять самостоятельно, а что требует вмешательства человека. Эта граница между автономным восстановлением и человеческим контролем стала ключевым архитектурным решением.

Технические детали

Магазин полностью работает на ИИ-агентах, которые управляют:

• Операциями по дизайну
• Маркетинговыми операциями
• Операциями по выполнению заказов
• Общими операциями

Сбой произошёл в конвейере заказов из-за необработанного исключения от одного из этих агентов. Команда задокументировала свою самовосстанавливающуюся архитектуру, включая то, что вышло из строя и что им пришлось создать для обеспечения надёжности автономного восстановления.