Управление сбоями ИИ-агентов: Лимиты повторных попыток и бюджеты на ошибки

Это кейс от команды, управляющей 6 ИИ-агентами в продакшене, с акцентом на то, как их очередь задач обрабатывает режимы сбоев, выходящие за рамки простого распределения задач.

Ключевой инцидент и решение

Один из ранних инцидентов заключался в том, что агент достиг лимита скорости, потерпел неудачу, был повторно запущен, снова достиг лимита, и этот цикл повторился 319 раз. Это привело к потере часов вычислительных ресурсов на задачу, которая никогда не могла быть выполнена успешно.

Внедренное решение — бюджет на 3 неудачи. После 3 неудач задача помечается как окончательно неудачная вместо повторной постановки в очередь.

Другие режимы сбоев, которые были учтены

• Агенты принимают задачи, но перестают отвечать (решается таймаутами heartbeat)
• Агенты сообщают TASK_COMPLETE без фактического завершения задачи (проблема самоотчета)
• Два агента захватывают одну и ту же задачу (решается оптимистической блокировкой)

Команда отмечает, что хотя правило 3 неудач кажется очевидным ретроспективно, его было жестоко открыть на собственном опыте.