ИИ-инженеры надежности решают рутинные инциденты, но инженеры теряют связь со своими системами

Сильвен Калаш — SRE в LinkedIn еще в 2012 году — размышляет о своем раннем прототипе самовосстанавливающейся системы и видит его реализацию в современных инструментах реагирования на инциденты на основе ИИ. Но в новом посте в блоге он предупреждает, что эти «ИИ-инженеры надежности» разрушают практический опыт, необходимый инженерам для решения по-настоящему новых сбоев.

Иронии автоматизации

Калаш подчеркивает «Иронии автоматизации», концепцию из статьи Лизанн Бейнбридж 1983 года. Автоматизация устраняет возможности для рутинной практики, оставляя людям ответственность за аномальные ситуации. Этот парадокс напрямую применим к реагированию на инциденты:

• ИИ-инструменты обрабатывают оповещения, формируют гипотезы, запрашивают телеметрию и даже внедряют исправления — снижая необходимость вмешательства человека при рутинных инцидентах.
• Но именно на таких рутинных инцидентах инженеры развивают интуицию относительно того, как их системы ведут себя и выходят из строя.
• Когда возникает неоднозначный инцидент высокого уровня серьезности, который автоматизация не может решить, реагирующие должны вмешаться с меньшей практикой, чем у них была бы ранее.

Авиация как модель обучения редким сбоям

Калаш указывает на авиацию как на прецедент. Современные турбинные двигатели испытывают менее одного отключения в полете на 100 000 часов налета — настолько редкое событие, что пилот может никогда не столкнуться с ним в реальной жизни. Тем не менее пилоты должны правильно реагировать, когда это происходит. Например, крушение рейса 235 TransAsia Airways произошло всего через 117 секунд после первого предупреждения, когда экипаж неправильно определил отказ двигателя.

Для подготовки пилоты авиакомпаний проходят регулярные тренировки на симуляторах каждые шесть месяцев по правилам FAA, включая сценарии отказа двигателя. Калаш предполагает, что инженерам-программистам нужны аналогичные «симуляторы инцидентов» для отработки редких и сложных сбоев.

Симуляторы и ИИ как тренеры

Нынешний работодатель Калаша, Rootly, в партнерстве с Uptime Labs создал именно такой инструмент: реалистичные симуляции инцидентов. Инженеры берут на себя роль руководителя ликвидации инцидента во время смоделированного сбоя интернет-магазина, используя инструменты наблюдения и координируя работу с заинтересованными сторонами на основе LLM в Slack. Это обеспечивает безопасную практику для:

• интерпретации неполной информации
• четкой коммуникации
• координации действий реагирующих
• проведения фактических работ по ликвидации

ИИ также может использоваться как тренер — объясняя свои шаги и доказательства — но Калаш предупреждает, что наблюдение не заменит выполнения работы. «Вы можете кое-что почерпнуть, наблюдая за игрой Серены Уильямс, — пишет он, — но вы научитесь теннису только выйдя на корт».