Canario: Agente de IA para Control de Calidad en Pruebas Automatizadas Basadas en Cambios de Código

Qué hace Canary

Canary construye agentes de IA que se conectan a tu base de código para comprender la estructura de la aplicación, incluyendo rutas, controladores y lógica de validación. Cuando envías un pull request, lee las diferencias, comprende la intención detrás de los cambios, luego genera y ejecuta pruebas contra tu aplicación de previsualización para verificar flujos de trabajo reales de usuarios de extremo a extremo.

Características principales

• Analiza diferencias en PR para entender qué cambió realmente
• Genera y ejecuta pruebas para cada flujo de trabajo de usuario afectado
• Comenta directamente en los PR con resultados de pruebas y grabaciones de pantalla
• Marca comportamientos que no coinciden con las expectativas
• Permite activar pruebas específicas de flujos de trabajo de usuario mediante comentarios en PR
• Las pruebas generadas desde PR pueden moverse a suites de regresión
• Crea pruebas escribiendo en inglés simple: Canary genera suites completas de pruebas desde tu base de código
• Programa y ejecuta pruebas continuamente

Enfoque técnico

Según los fundadores, esto no es algo que un solo modelo base pueda manejar solo. QA abarca múltiples modalidades: código fuente, DOM/ARIA, emuladores de dispositivos, verificaciones visuales, análisis de grabaciones de pantalla, registros de red/consola y estado del navegador en vivo. El sistema requiere flotas personalizadas de navegadores, sesiones de usuario, entornos efímeros, granjas en dispositivos y siembra de datos para ejecutar pruebas de manera confiable.

Detectar efectos de segundo orden de cambios en el código requiere un arnés especializado que rompe aplicaciones de múltiples formas posibles a través de diferentes tipos de usuarios que las pruebas de ruta feliz normal no cubrirían.

Resultados de referencia

El equipo publicó QA-Bench v0, el primer punto de referencia para verificación de código. Probaron su agente de QA construido específicamente contra GPT 5.4, Claude Code (Opus 4.6) y Sonnet 4.6 en 35 PR reales en Grafana, Mattermost, Cal.com y Apache Superset. Las pruebas midieron tres dimensiones: Relevancia, Cobertura y Coherencia.

La cobertura mostró la mayor brecha de rendimiento. Canary lidera por:

• 11 puntos sobre GPT 5.4
• 18 puntos sobre Claude Code
• 26 puntos sobre Sonnet 4.6

Ejemplo del mundo real

Un cliente de tecnología de construcción tenía un flujo de facturación donde el monto adeudado se desviaba del total de la propuesta original en aproximadamente $1,600. Canary detectó esta regresión en su flujo de facturación antes del lanzamiento.

Antecedentes de los fundadores

Los fundadores previamente construyeron herramientas de codificación con IA en Windsurf, Cognition y Google. Observaron que mientras las herramientas de IA hacían que los equipos fueran más rápidos al enviar código, nadie probaba el comportamiento real del usuario antes de fusionar, lo que llevaba a problemas en producción en flujos de pago, autenticación y facturación.