Canário: Agente de QA de IA para Testes Automatizados Baseados em Alterações de Código

O que o Canary Faz

O Canary constrói agentes de IA que se conectam à sua base de código para entender a estrutura do aplicativo, incluindo rotas, controladores e lógica de validação. Quando você envia um pull request, ele lê o diff, compreende a intenção por trás das alterações, então gera e executa testes contra seu aplicativo de pré-visualização para verificar fluxos reais de usuário de ponta a ponta.

Recursos Principais

• Analisa diffs de PR para entender o que realmente mudou
• Gera e executa testes para cada fluxo de usuário afetado
• Comenta diretamente nos PRs com resultados de testes e gravações de tela
• Sinaliza comportamentos que não correspondem às expectativas
• Permite acionar testes específicos de fluxo de usuário via comentários em PR
• Testes gerados a partir de PRs podem ser movidos para suites de regressão
• Crie testes solicitando em inglês simples - Canary gera suites completas de testes a partir de sua base de código
• Agenda e executa testes continuamente

Abordagem Técnica

Isso não é algo que um único modelo de base pode lidar sozinho, de acordo com os fundadores. QA abrange múltiplas modalidades: código-fonte, DOM/ARIA, emuladores de dispositivos, verificações visuais, análise de gravação de tela, logs de rede/console e estado do navegador em tempo real. O sistema requer frotas personalizadas de navegadores, sessões de usuário, ambientes efêmeros, fazendas em dispositivos e semeadura de dados para executar testes de forma confiável.

Capturar efeitos de segunda ordem de alterações de código requer um harness especializado que quebra aplicativos de várias maneiras possíveis em diferentes tipos de usuário que testes normais de caminho feliz não cobririam.

Resultados de Benchmark

A equipe publicou o QA-Bench v0, o primeiro benchmark para verificação de código. Eles testaram seu agente de QA construído para fins específicos contra GPT 5.4, Claude Code (Opus 4.6) e Sonnet 4.6 em 35 PRs reais no Grafana, Mattermost, Cal.com e Apache Superset. Os testes mediram três dimensões: Relevância, Cobertura e Coerência.

A Cobertura mostrou a maior diferença de desempenho. Canary lidera por:

• 11 pontos sobre GPT 5.4
• 18 pontos sobre Claude Code
• 26 pontos sobre Sonnet 4.6

Exemplo do Mundo Real

Um cliente de tecnologia da construção civil tinha um fluxo de faturamento onde o valor devido desviava do total da proposta original em aproximadamente US$ 1.600. O Canary detectou essa regressão em seu fluxo de faturamento antes do lançamento.

Histórico dos Fundadores

Os fundadores anteriormente construíram ferramentas de codificação de IA na Windsurf, Cognition e Google. Eles observaram que, embora as ferramentas de IA tornassem as equipes mais rápidas em enviar, ninguém estava testando o comportamento real do usuário antes do merge, levando a problemas de produção em fluxos de checkout, autenticação e faturamento.