Assurance qualité et tests automatisés avec l'IA : une nouvelle ère pour les tests logiciels

Antirez, créateur de Redis, présente une méthode pratique pour utiliser des agents LLM afin d'automatiser l'assurance qualité et les tests. L'approche : créer un fichier markdown qui donne pour instruction à un agent IA de jouer le rôle d'un ingénieur QA et d'effectuer des tests manuels sur une nouvelle version.

Comment ça marche

Le fichier markdown comprend :

• Des instructions pour vérifier les nouveaux commits depuis la dernière version.
• Des tâches QA spécifiques, comme les tests d'inférence distribuée ou les vérifications de régression de vitesse.
• Des points de terminaison SSH, des clés et des chemins pour les tests d'intégration.

L'agent inspecte les changements et identifie ce qui pourrait être affecté, puis exécute une passe QA spécialisée ciblant les régressions.

Exemple : Moteur d'inférence DwarfStar

Pour DwarfStar, un moteur d'inférence LLM open-weight, antirez utilise ce fichier pour :

• Test d'inférence distribuée : Exécute sur deux MacBooks, vérifiant la cohérence des résultats et la prise en charge des fichiers GGUF sur les deux machines.
• Vérification de régression de vitesse : Pas besoin de spécifier les vitesses précédentes — l'agent apprend dynamiquement à partir du code source.
• Vérification d'intégration : Couvre des configurations complexes difficiles à automatiser traditionnellement.

Exemple : Redis Arrays

Pour Redis Arrays, l'agent construit une grande application basée sur des tableaux Redis, configure une réplication en production avec persistance, simule des jours d'utilisation avec de nombreux utilisateurs et signale les anomalies.

QA psychologique

L'agent examine également les fonctionnalités pour la clarté et la documentation : il repère les fonctionnalités qui semblent surprenantes, non documentées ou bâclées du point de vue de l'utilisateur. Cela permet de détecter des problèmes d'expérience utilisateur que la QA manuelle ignore habituellement.