Автоматизированное обеспечение качества и тестирование с помощью ИИ: Новая эра тестирования программного обеспечения

Antirez, создатель Redis, описывает практический метод использования LLM-агентов для автоматизации QA и тестирования. Подход: создайте markdown-файл, который инструктирует AI-агента действовать как QA-инженер, выполняя ручное тестирование нового релиза.

Как это работает

Markdown-файл включает:

• Инструкции по проверке новых коммитов с момента последнего релиза.
• Конкретные задачи QA, такие как тестирование распределенного вывода или проверка регрессии скорости.
• SSH-конечные точки, ключи и пути для интеграционных тестов.

Агент изучает изменения и определяет, что может быть затронуто, затем запускает специализированный QA-проход, нацеленный на регрессии.

Пример: движок вывода DwarfStar

Для DwarfStar, движка вывода LLM с открытыми весами, antirez использует этот файл, чтобы:

• Тест распределенного вывода: Запускается на двух MacBook, проверяя согласованность вывода и поддержку GGUF-файлов на обеих машинах.
• Проверка регрессии скорости: Не нужно указывать предыдущие скорости — агент динамически обучается на кодовой базе.
• Верификация интеграции: Охватывает сложные конфигурации, которые трудно автоматизировать традиционными методами.

Пример: Redis Arrays

Для Redis Arrays агент собирает большое приложение на основе массивов Redis, настраивает производственную репликацию с персистентностью, имитирует дни использования с множеством пользователей и отмечает аномалии.

Психологическое QA

Агент также проверяет функции на ясность и документацию: определяет функции, которые выглядят неожиданными, недокументированными или небрежными с точки зрения пользователя. Это выявляет проблемы UX, которые обычно пропускаются при ручном QA.