Как хрупкие тестовые скрипты привели к задержкам выпуска релизов и что с этим сделала одна команда

Проблема: Хрупкие тесты, скрытые метриками

У команды потребительского приложения из примерно 15 инженеров была, как они думали, неплохая настройка QA с более чем 200 тестовыми сценариями. Они оценивали здоровье QA по количеству тестовых случаев, что на бумаге выглядело отлично.

Когда их QA-инженер ушёл в декретный отпуск в марте, конвейер CI начал падать на сценариях, которые были стабильны месяцами. Проблема заключалась в том, что обновление интерфейса двумя спринтами ранее переместило элементы, и локаторы скриптов Appium указывали на перемещённые или переименованные элементы. Приложение выглядело почти идентично для пользователей, но скрипты не могли адаптироваться.

Три человека пытались это исправить, включая двух инженеров, которые не касались тестового набора месяцами. Это заняло большую часть недели, и один релиз вышел без надлежащего регрессионного тестирования, потому что сроки не сдвинулись.

Реальная стоимость поддержки

Когда QA-инженер вернулся, он раскрыл, что 50-60% его недели уходило на поддержку скриптов: обновление локаторов, исправление того, что ломалось после изменений интерфейса, и поддержание тестового набора в рабочем состоянии. Лишь около трети его времени фактически тратилось на поиск ошибок.

Команда осознала, что они измеряли не то. Никто не отслеживал, сколько времени уходит просто на то, чтобы тесты не развалились.

Решение: Выход за пределы локаторов

Команда перестраивает свой тестовый набор последние пару месяцев с помощью инструмента, который вообще не полагается на локаторы. Тесты пишутся на простом английском, а инструмент читает экран так, как это сделал бы человек. Когда интерфейс меняется, он адаптируется.

QA-инженер сообщил, что впервые за два года он пришёл в понедельник без списка сломанных скриптов, которые нужно починить, прежде чем он сможет выполнять свою реальную работу.

Проблема с локаторами тихо устанавливала потолок для скорости выпуска релизов, и они не полностью осознали это, пока потолок не рухнул.