Automatisiertes QA und Testen mit KI: Eine neue Ära für Softwaretests

Antirez, der Schöpfer von Redis, beschreibt eine praktische Methode, um LLM-Agenten für automatisierte QA und Tests einzusetzen. Der Ansatz: Erstellen Sie eine Markdown-Datei, die einen KI-Agenten anweist, als QA-Ingenieur zu agieren und manuelle Tests an einem neuen Release durchzuführen.

So funktioniert es

Die Markdown-Datei enthält:

• Anweisungen, um neue Commits seit dem letzten Release zu überprüfen.
• Spezifische QA-Aufgaben wie verteilte Inferenztests oder Geschwindigkeitsregressionsprüfungen.
• SSH-Endpunkte, Schlüssel und Pfade für Integrationstests.

Der Agent untersucht die Änderungen und identifiziert, was betroffen sein könnte, führt dann einen spezialisierten QA-Durchlauf durch, der auf Regressionen abzielt.

Beispiel: DwarfStar Inferenz-Engine

Für DwarfStar, eine Open-Weight-LLM-Inferenz-Engine, verwendet Antirez diese Datei, um:

• Verteilten Inferenztest: Läuft auf zwei MacBooks, überprüft Ausgabekohärenz und GGUF-Dateiunterstützung auf beiden Maschinen.
• Geschwindigkeitsregressionsprüfung: Keine Notwendigkeit, vorherige Geschwindigkeiten anzugeben – der Agent lernt dynamisch aus der Codebasis.
• Integrationsverifikation: Deckt komplexe Setups ab, die traditionell schwer zu automatisieren sind.

Beispiel: Redis Arrays

Für Redis Arrays baut der Agent eine große array-basierte Redis-Anwendung auf, richtet Produktionsreplikation mit Persistenz ein, simuliert Tage der Nutzung mit vielen Benutzern und meldet Anomalien.

Psychologische QA

Der Agent überprüft auch Funktionen auf Klarheit und Dokumentation: Er identifiziert Funktionen, die aus Benutzersicht überraschend, undokumentiert oder schlampig wirken. Dies erfasst UX-Probleme, die manuelle QA normalerweise überspringt.