Pruebas y QA automatizadas con IA: una nueva era para las pruebas de software

Antirez, creador de Redis, describe un método práctico para usar agentes LLM y automatizar el QA y las pruebas. El enfoque: crear un archivo markdown que instruye a un agente de IA para que actúe como ingeniero de QA, realizando pruebas manuales en una nueva versión.

Cómo funciona

El archivo markdown incluye:

• Instrucciones para revisar los nuevos commits desde la última versión.
• Tareas específicas de QA, como pruebas de inferencia distribuida o comprobaciones de regresión de velocidad.
• Endpoints SSH, claves y rutas para pruebas de integración.

El agente inspecciona los cambios e identifica lo que podría verse afectado, luego ejecuta una pasada de QA especializada enfocada en regresiones.

Ejemplo: Motor de inferencia DwarfStar

Para DwarfStar, un motor de inferencia LLM de pesos abiertos, antirez usa este archivo para:

• Prueba de inferencia distribuida: Se ejecuta en dos MacBooks, verificando la coherencia de la salida y el soporte de archivos GGUF en ambas máquinas.
• Comprobación de regresión de velocidad: No es necesario especificar velocidades anteriores; el agente aprende dinámicamente del código base.
• Verificación de integración: Cubre configuraciones complejas que son difíciles de automatizar tradicionalmente.

Ejemplo: Redis Arrays

Para Redis Arrays, el agente construye una aplicación grande basada en arreglos de Redis, configura replicación de producción con persistencia, simula días de uso con muchos usuarios y señala anomalías.

QA psicológico

El agente también revisa las funciones en cuanto a claridad y documentación: identifica características que parecen sorprendentes, no documentadas o descuidadas desde la perspectiva del usuario. Esto detecta problemas de UX que el QA manual normalmente omite.