Cómo los Scripts de Pruebas Frágiles Causaron Retrasos en la Lanzamiento y lo que un Equipo Hizo al Respecto

El problema: Pruebas frágiles ocultas por las métricas

Un equipo de una aplicación para consumidores con aproximadamente 15 ingenieros tenía lo que pensaban que era una configuración de QA decente con más de 200 casos de prueba. Medían la salud de QA por el número de casos de prueba, lo que se veía muy bien en el papel.

Cuando su ingeniero de QA se fue de baja por paternidad en marzo, la tubería de CI comenzó a fallar en flujos que habían sido estables durante meses. El problema: una actualización de la interfaz de usuario dos sprints antes había desplazado elementos, y los localizadores de los scripts de Appium apuntaban a elementos movidos o renombrados. La aplicación se veía casi idéntica para los usuarios, pero los scripts no podían adaptarse.

Tres personas intentaron solucionarlo, incluidos dos ingenieros que no habían tocado la suite de pruebas en meses. Tomó la mayor parte de una semana, y un lanzamiento salió sin las pruebas de regresión adecuadas porque los plazos no se movieron.

El costo real del mantenimiento

Cuando el ingeniero de QA regresó, reveló que entre el 50 y el 60% de su semana se dedicaba a mantener los scripts: actualizar localizadores, arreglar cosas que se rompían después de los cambios en la interfaz de usuario y mantener viva la suite de pruebas. Solo alrededor de un tercio de su tiempo se dedicaba realmente a encontrar errores.

El equipo se dio cuenta de que habían estado midiendo lo incorrecto. Nadie estaba rastreando cuánto tiempo se dedicaba simplemente a evitar que las pruebas se desmoronaran.

La solución: Ir más allá de los localizadores

El equipo ha estado reconstruyendo su suite de pruebas durante los últimos meses utilizando una herramienta que no depende en absoluto de localizadores. Las pruebas se escriben en inglés sencillo, y la herramienta lee la pantalla como lo haría un humano. Cuando la interfaz de usuario cambia, se adapta.

El ingeniero de QA informó que, por primera vez en dos años, llegó un lunes sin una lista de scripts rotos que arreglar antes de poder hacer su trabajo real.

El problema de los localizadores había estado estableciendo silenciosamente un límite en la rapidez con que podían enviar, y no lo vieron por completo hasta que colapsó.