Хорошая разработка с помощью ИИ происходит на уровне систем, а не задач

Пост на Reddit от пользователя u/johns10davenport утверждает, что настоящий рычаг в разработке с помощью ИИ — это изменение системы, а не улучшение промптов. Автор описывает знакомую проблему: каждый раз при добавлении новой функции в своё приложение Phoenix AI-агент реализует фичу, но пропускает пункт меню. Страница существует, функциональность работает, но у пользователя нет способа туда попасть.

Проблема исправлений на уровне задач

Первая реакция — сказать модели: «добавь кнопку». Это работает, но человек всё ещё думает — выявляет проблему и указывает способ её исправления. Автор называет это «крутить педали Peloton, чтобы Anthropic давал мне бесплатные токены». Инженерия промптов просто делает вас лучше в подсказках модели, но вы всё ещё работаете на модель.

Системный сдвиг

Вместо того чтобы исправлять отсутствующую кнопку, автор спросил: как сделать так, чтобы эта ошибка стала невозможна в будущем? Их решение использует BDD-спецификации и тестовые хелперы Phoenix LiveView. Функция navigate тестового фреймворка позволяет агенту переходить напрямую на любую страницу, проходя тесты без взаимодействия с UI. Поэтому они написали правило линтера, запрещающее агенту вызывать navigate. Теперь есть разрешённый фикстур, который помещает тест на известный стартовый маршрут, и единственный способ для агента достичь новой функции — щёлкать по UI, что заставляет его добавить пункт меню для прохождения теста.

Результат: проблема никогда не повторится, не благодаря лучшему промпту, а потому что корректное поведение — это единственно возможное поведение.

Ключевой вывод

Перестаньте исправлять вывод модели. Начните ограничивать её среду так, чтобы правильный вывод был путём наименьшего сопротивления. Каждая ошибка — это шанс спроектировать следующую ошибку.