Como Scripts de Teste Frágeis Causaram Atrasos na Liberação e o que uma Equipe Fez a Respeito

O Problema: Testes Frágeis Ocultos por Métricas

Uma equipe de aplicativo para consumidores com cerca de 15 engenheiros tinha o que consideravam uma configuração de QA decente, com mais de 200 casos de teste. Eles mediam a saúde do QA pela contagem de casos de teste, o que parecia ótimo no papel.

Quando o engenheiro de QA saiu de licença-paternidade em março, o pipeline de CI começou a falhar em fluxos que estavam estáveis há meses. O problema: uma atualização da interface duas sprints antes havia deslocado elementos, e os localizadores dos scripts Appium estavam apontando para elementos movidos ou renomeados. O aplicativo parecia quase idêntico para os usuários, mas os scripts não conseguiam se adaptar.

Três pessoas tentaram corrigir, incluindo dois engenheiros que não tocavam na suíte de testes há meses. Levou a maior parte de uma semana, e uma versão foi lançada sem testes de regressão adequados porque os prazos não mudaram.

O Custo Real da Manutenção

Quando o engenheiro de QA retornou, ele revelou que 50-60% de sua semana era gasta mantendo scripts: atualizando localizadores, corrigindo coisas que quebravam após mudanças na interface e mantendo a suíte de testes viva. Apenas cerca de um terço do seu tempo era realmente gasto encontrando bugs.

A equipe percebeu que estava medindo a coisa errada. Ninguém estava rastreando quanto tempo era gasto apenas para evitar que os testes se desfizessem.

A Solução: Indo Além dos Localizadores

A equipe tem reconstruído sua suíte de testes nos últimos meses usando uma ferramenta que não depende de localizadores. Os testes são escritos em inglês simples, e a ferramenta lê a tela da maneira como um humano faria. Quando a interface muda, ela se adapta.

O engenheiro de QA relatou que, pela primeira vez em dois anos, chegou a uma segunda-feira sem uma lista de scripts quebrados para corrigir antes de poder fazer seu trabalho real.

O problema dos localizadores vinha silenciosamente estabelecendo um limite para a velocidade com que podiam lançar, e eles não o perceberam completamente até que desabou.