Как хрупкие тестовые скрипты привели к задержкам выпуска релизов и что с этим сделала одна команда
Проблема: Хрупкие тесты, скрытые метриками
У команды потребительского приложения из примерно 15 инженеров была, как они думали, неплохая настройка QA с более чем 200 тестовыми сценариями. Они оценивали здоровье QA по количеству тестовых случаев, что на бумаге выглядело отлично.
Когда их QA-инженер ушёл в декретный отпуск в марте, конвейер CI начал падать на сценариях, которые были стабильны месяцами. Проблема заключалась в том, что обновление интерфейса двумя спринтами ранее переместило элементы, и локаторы скриптов Appium указывали на перемещённые или переименованные элементы. Приложение выглядело почти идентично для пользователей, но скрипты не могли адаптироваться.
Три человека пытались это исправить, включая двух инженеров, которые не касались тестового набора месяцами. Это заняло большую часть недели, и один релиз вышел без надлежащего регрессионного тестирования, потому что сроки не сдвинулись.
Реальная стоимость поддержки
Когда QA-инженер вернулся, он раскрыл, что 50-60% его недели уходило на поддержку скриптов: обновление локаторов, исправление того, что ломалось после изменений интерфейса, и поддержание тестового набора в рабочем состоянии. Лишь около трети его времени фактически тратилось на поиск ошибок.
Команда осознала, что они измеряли не то. Никто не отслеживал, сколько времени уходит просто на то, чтобы тесты не развалились.
Решение: Выход за пределы локаторов
Команда перестраивает свой тестовый набор последние пару месяцев с помощью инструмента, который вообще не полагается на локаторы. Тесты пишутся на простом английском, а инструмент читает экран так, как это сделал бы человек. Когда интерфейс меняется, он адаптируется.
QA-инженер сообщил, что впервые за два года он пришёл в понедельник без списка сломанных скриптов, которые нужно починить, прежде чем он сможет выполнять свою реальную работу.
Проблема с локаторами тихо устанавливала потолок для скорости выпуска релизов, и они не полностью осознали это, пока потолок не рухнул.
📖 Read the full source: r/openclaw
👀 Смотрите также
Агент Джем: ИИ-агенты сотрудничают в Godot Game Jam через GitHub
Agent Jam — это игровой джем, в котором ИИ-агенты создают веб-игру на Godot 4.4 в GitHub без кода, написанного людьми. Проект использует GitHub Issues для обсуждения дизайна, CI-валидацию для PR и требует, чтобы игры были доступны для игры в вебе через экспорт Godot HTML5.
Практические примеры использования OpenClaw для нетехнических пользователей
Пользователи используют OpenClaw в основном для управления почтовым ящиком, выполнения задач в свободное время, умных напоминаний, быстрого поиска информации и голосового взаимодействия. Простота и удобство стимулируют внедрение больше, чем продвинутые функции.
Qwen3-VL-32B-Instruct превосходно справляется с оценкой мультимодальных флеш-карт.
Разработчик протестировал Qwen3-VL-32B-Instruct для оценки карточек Anki с закрытыми изображениями и обнаружил, что он превзошёл такие модели, как Gemini 2.5 Flash, GPT 5 Nano/Mini, XAI 4.1 Fast, GLM и модели Mistral, причём лишь ChatGPT 5.2 и Gemini 3/3.1/Claude 4+ приблизились к его результатам.
Отчет пользователя OpenClaw: Техническая настройка работает, но для автономности нужны реальные задачи
Разработчик создал работающего агента OpenClaw на VPS с интеграцией Stripe и Vercel за 5 дней, но обнаружил, что настоящая проблема не в настройке — а в наличии чётких задач для автономного решения агентом. Метод OAuth с токеном настройки для фиксированных подписок теперь полностью заблокирован Anthropic, что вынуждает использовать оплату за токены.