QA e Testes Automatizados com IA: Uma Nova Era para Testes de Software

Antirez, criador do Redis, descreve um método prático para usar agentes LLM na automatização de QA e testes. A abordagem: criar um arquivo markdown que instrui um agente de IA a atuar como engenheiro de QA, realizando testes manuais em um novo lançamento.

Como funciona

O arquivo markdown inclui:

• Instruções para verificar novos commits desde o último lançamento.
• Tarefas específicas de QA, como testes de inferência distribuída ou verificação de regressão de velocidade.
• Endpoints SSH, chaves e caminhos para testes de integração.

O agente inspeciona as mudanças e identifica o que pode ser afetado, então executa uma passagem de QA especializada focada em regressões.

Exemplo: Mecanismo de Inferência DwarfStar

Para o DwarfStar, um mecanismo de inferência LLM de pesos abertos, antirez usa este arquivo para:

• Teste de inferência distribuída: Executa em dois MacBooks, verificando coerência da saída e suporte a arquivos GGUF em ambas as máquinas.
• Verificação de regressão de velocidade: Não é necessário especificar velocidades anteriores — o agente aprende dinamicamente a partir da base de código.
• Verificação de integração: Abrange configurações complexas que são difíceis de automatizar tradicionalmente.

Exemplo: Redis Arrays

Para Redis Arrays, o agente constrói uma aplicação Redis baseada em arrays de grande porte, configura replicação de produção com persistência, simula dias de uso com muitos usuários e sinaliza anomalias.

QA Psicológico

O agente também revisa funcionalidades quanto à clareza e documentação: identifica recursos que parecem surpreendentes, não documentados ou mal feitos sob a perspectiva do usuário. Isso captura problemas de UX que o QA manual normalmente ignora.