Wie zerbrechliche Testskripte zu Verspätungen bei Veröffentlichungen führten und was ein Team dagegen unternahm

Das Problem: Zerbrechliche Tests, versteckt durch Metriken

Ein Team einer Consumer-App mit etwa 15 Ingenieuren hatte, was sie für eine solide QA-Einrichtung hielten, mit über 200 Testfällen. Sie maßen die QA-Gesundheit an der Anzahl der Testfälle, was auf dem Papier großartig aussah.

Als ihr QA-Ingenieur im März in Elternzeit ging, begann die CI-Pipeline bei Abläufen zu scheitern, die monatelang stabil gewesen waren. Das Problem: Ein UI-Refresh zwei Sprints zuvor hatte Elemente verschoben, und die Locators der Appium-Skripte zeigten auf verschobene oder umbenannte Elemente. Die App sah für Benutzer fast identisch aus, aber die Skripte konnten sich nicht anpassen.

Drei Personen versuchten, es zu reparieren, darunter zwei Ingenieure, die die Testsuite seit Monaten nicht mehr angefasst hatten. Es dauerte den größten Teil einer Woche, und ein Release ging ohne ordnungsgemäße Regressionstests heraus, weil die Fristen sich nicht verschoben.

Die wahren Kosten der Wartung

Als der QA-Ingenieur zurückkehrte, enthüllte er, dass 50-60 % seiner Woche mit der Wartung von Skripten verbracht wurden: Locators aktualisieren, Dinge reparieren, die nach UI-Änderungen kaputtgingen, und die Testsuite am Leben erhalten. Nur etwa ein Drittel seiner Zeit wurde tatsächlich damit verbracht, Fehler zu finden.

Das Team erkannte, dass sie das Falsche gemessen hatten. Niemand verfolgte, wie viel Zeit allein dafür aufgewendet wurde, die Tests vor dem Zusammenbruch zu bewahren.

Die Lösung: Über Locators hinausgehen

Das Team hat in den letzten Monaten seine Testsuite mit einem Tool neu aufgebaut, das überhaupt nicht auf Locators angewiesen ist. Tests werden in einfachem Englisch geschrieben, und das Tool liest den Bildschirm so, wie es ein Mensch tun würde. Wenn sich die UI ändert, passt es sich an.

Der QA-Ingenieur berichtete, dass er zum ersten Mal seit zwei Jahren an einem Montag ohne eine Liste kaputter Skripte ankam, die er reparieren musste, bevor er seine eigentliche Arbeit erledigen konnte.

Das Locator-Problem hatte leise eine Obergrenze dafür gesetzt, wie schnell sie liefern konnten, und sie sahen es nicht vollständig, bis es zusammenbrach.