Comment des scripts de test fragiles ont provoqué des retards de publication et ce qu'une équipe a fait pour y remédier

Le problème : des tests fragiles cachés par les métriques

Une équipe d'application grand public d'environ 15 ingénieurs avait ce qu'elle pensait être une configuration QA correcte avec plus de 200 cas de test. Ils mesuraient la santé du QA par le nombre de cas de test, ce qui semblait excellent sur le papier.

Lorsque leur ingénieur QA est parti en congé paternité en mars, le pipeline d'intégration continue a commencé à échouer sur des flux qui étaient stables depuis des mois. Le problème : une refonte de l'interface utilisateur deux sprints plus tôt avait déplacé des éléments, et les localisateurs des scripts Appium pointaient vers des éléments déplacés ou renommés. L'application paraissait presque identique aux utilisateurs, mais les scripts ne pouvaient pas s'adapter.

Trois personnes ont essayé de le réparer, dont deux ingénieurs qui n'avaient pas touché à la suite de tests depuis des mois. Cela a pris la majeure partie d'une semaine, et une version est sortie sans tests de régression appropriés car les délais n'ont pas bougé.

Le coût réel de la maintenance

À son retour, l'ingénieur QA a révélé que 50 à 60 % de sa semaine étaient consacrés à la maintenance des scripts : mise à jour des localisateurs, correction des éléments cassés après les changements d'interface, et maintien en vie de la suite de tests. Seulement environ un tiers de son temps était réellement passé à trouver des bugs.

L'équipe a réalisé qu'elle mesurait la mauvaise chose. Personne ne suivait le temps consacré simplement à empêcher les tests de s'effondrer.

La solution : aller au-delà des localisateurs

L'équipe reconstruit sa suite de tests depuis quelques mois à l'aide d'un outil qui ne repose pas du tout sur des localisateurs. Les tests sont écrits en anglais simple, et l'outil lit l'écran comme le ferait un humain. Lorsque l'interface change, il s'adapte.

L'ingénieur QA a rapporté que pour la première fois en deux ans, il est arrivé un lundi sans une liste de scripts cassés à réparer avant de pouvoir faire son vrai travail.

Le problème des localisateurs avait discrètement imposé une limite à la vitesse à laquelle ils pouvaient livrer, et ils ne l'ont pleinement vu que lorsqu'il s'est effondré.