Canary : Agent IA d'Assurance Qualité pour les Tests Automatisés Basés sur les Modifications de Code

Ce que fait Canary

Canary construit des agents IA qui se connectent à votre base de code pour comprendre la structure de l'application, y compris les routes, les contrôleurs et la logique de validation. Lorsque vous poussez une demande de fusion, il lit les différences, comprend l'intention derrière les changements, puis génère et exécute des tests sur votre application de prévisualisation pour vérifier les parcours utilisateurs réels de bout en bout.

Fonctionnalités clés

• Analyse les différences de PR pour comprendre ce qui a réellement changé
• Génère et exécute des tests pour chaque parcours utilisateur affecté
• Commente directement sur les PR avec les résultats des tests et les enregistrements d'écran
• Signale les comportements qui ne correspondent pas aux attentes
• Permet de déclencher des tests de parcours utilisateur spécifiques via les commentaires de PR
• Les tests générés à partir des PR peuvent être intégrés dans les suites de régression
• Créez des tests en donnant des instructions en anglais simple - Canary génère des suites de tests complètes à partir de votre base de code
• Planifie et exécute des tests en continu

Approche technique

Selon les fondateurs, ce n'est pas quelque chose qu'un seul modèle de base peut gérer seul. L'assurance qualité couvre plusieurs modalités : code source, DOM/ARIA, émulateurs de périphériques, vérifications visuelles, analyse d'enregistrement d'écran, journaux réseau/console et état du navigateur en direct. Le système nécessite des flottes de navigateurs personnalisées, des sessions utilisateur, des environnements éphémères, des fermes sur périphérique et un ensemencement de données pour exécuter les tests de manière fiable.

Détecter les effets de second ordre des changements de code nécessite un harnais spécialisé qui casse les applications de multiples façons possibles selon différents types d'utilisateurs, ce que les tests de parcours nominal ne couvriraient pas.

Résultats de référence

L'équipe a publié QA-Bench v0, la première référence pour la vérification de code. Ils ont testé leur agent d'assurance qualité spécialement conçu contre GPT 5.4, Claude Code (Opus 4.6) et Sonnet 4.6 sur 35 PR réels sur Grafana, Mattermost, Cal.com et Apache Superset. Les tests ont mesuré trois dimensions : Pertinence, Couverture et Cohérence.

La couverture a montré le plus grand écart de performance. Canary mène de :

• 11 points sur GPT 5.4
• 18 points sur Claude Code
• 26 points sur Sonnet 4.6

Exemple concret

Un client du secteur de la construction avait un flux de facturation où le montant dû déviait du total de la proposition initiale d'environ 1 600 $. Canary a détecté cette régression dans leur flux de facturation avant la mise en production.

Historique des fondateurs

Les fondateurs ont précédemment construit des outils de codage IA chez Windsurf, Cognition et Google. Ils ont observé que si les outils IA rendaient les équipes plus rapides à livrer, personne ne testait le comportement réel des utilisateurs avant la fusion, ce qui entraînait des problèmes en production dans les flux de paiement, d'authentification et de facturation.