Пользователь Reddit экспериментирует с агентами программирования, обучающимися на ошибках, чтобы прервать циклы повторных попыток.

Разработчик на r/LocalLLaMA экспериментирует с кодирующими агентами, которые учатся на ошибках, чтобы выйти из повторяющихся циклов повторных попыток. Этот подход фокусируется на том, чтобы рассматривать неудачу как повторно используемую информацию, а не просто регистрировать сырые ошибки.

Проблема: Застревание в циклах неудач

Разработчик заметил, что кодирующие агенты часто застревают в шаблонах неудач: ошибка → повторная попытка → снова ошибка. Изначально считалось, что это ограничение модели, но проблема, по-видимому, заключается в обработке ошибок, когда системы не отслеживают, почему что-то пошло не так. При повторных попытках агенты обычно генерируют варианты той же попытки, повторяя те же ошибки немного разными способами.

Экспериментальный подход

Вместо хранения сырых логов разработчик начал сохранять упрощённые «корневые причины» и сопоставлять их с исправлениями, которые работали ранее. Будущие попытки затем сопоставляются с этими сохранёнными знаниями, а не угадываются заново. Разработчик отмечает, что этот подход всё ещё сырой, но демонстрирует иное поведение: система реже застревает в тех же циклах и иногда действительно находит решения.

Текущие проблемы

• Надёжное сопоставление ошибок — сложная задача
• Если система обобщает неверно, это может закрепить плохие исправления
• Неясно, как балансировать между повторным использованием известных исправлений и поиском новых

Разработчик ищет мнение сообщества об этом подходе и о том, пробовали ли другие подобные методы для улучшения восстановления кодирующих агентов после ошибок.