취약한 테스트 스크립트가 릴리스를 지연시킨 사례와 한 팀의 해결 방법

문제: 지표에 가려진 취약한 테스트

약 15명의 엔지니어로 구성된 소비자 앱 팀은 200개 이상의 테스트 케이스로 괜찮은 QA 환경을 갖추고 있다고 생각했습니다. 그들은 테스트 케이스 수로 QA 상태를 측정했는데, 이는 문서상으로는 훌륭해 보였습니다.

3월에 QA 엔지니어가 육아휴직을 떠났을 때, CI 파이프라인이 몇 달 동안 안정적이었던 플로우에서 실패하기 시작했습니다. 문제는 두 스프린트 전에 진행된 UI 리프레시로 요소들이 이동했고, Appium 스크립트의 로케이터가 이동되거나 이름이 변경된 요소를 가리키고 있었기 때문입니다. 앱은 사용자에게 거의 동일하게 보였지만, 스크립트는 적응할 수 없었습니다.

테스트 스위트를 몇 달 동안 건드리지 않았던 두 명의 엔지니어를 포함해 세 명이 이 문제를 해결하려 했습니다. 거의 일주일이 걸렸고, 마감일은 변하지 않았기 때문에 한 차례의 릴리즈는 적절한 회귀 테스트 없이 출시되었습니다.

유지보수의 실제 비용

QA 엔지니어가 복귀했을 때, 그는 주간 시간의 50-60%를 스크립트 유지보수에 소비하고 있음을 밝혔습니다: 로케이터 업데이트, UI 변경 후 깨진 부분 수정, 테스트 스위트 유지 등이었습니다. 실제 버그를 찾는 데는 그의 시간의 약 3분의 1만 소요되었습니다.

팀은 잘못된 것을 측정하고 있었음을 깨달았습니다. 테스트가 무너지지 않도록 유지하는 데 얼마나 많은 시간이 소요되는지 추적하는 사람은 아무도 없었습니다.

해결책: 로케이터를 넘어서

팀은 지난 몇 달 동안 로케이터에 전혀 의존하지 않는 도구를 사용하여 테스트 스위트를 재구축해 왔습니다. 테스트는 평이한 영어로 작성되며, 도구는 사람이 보는 방식으로 화면을 읽습니다. UI가 변경되면 적응합니다.

QA 엔지니어는 2년 만에 처음으로 월요일에 실제 업무를 시작하기 전에 수리해야 할 깨진 스크립트 목록 없이 출근했다고 보고했습니다.

로케이터 문제는 그들이 얼마나 빠르게 출시할 수 있는지에 대해 조용히 한계를 설정하고 있었고, 그것이 무너질 때까지 완전히 인식하지 못했습니다.