Пользователь Reddit сообщает о 30% потере бюджета из-за «налога на перезапуск» ИИ-агентов и делится решением через контрольные точки.

Пользователь Reddit на r/LocalLLaMA поделился своим опытом с тем, что он называет "налогом на перезапуск" для ИИ-агентов. После анализа логов они обнаружили, что их команда тратит 30% бюджета на перезапуски.

Проблема: Полный сброс при прерывании

Согласно источнику, проблема возникает, когда рабочие процессы прерываются из-за сбоев сервера или тайм-аутов. Вместо того чтобы возобновлять с точки сбоя, агенты полностью сбрасываются и начинают задачи с самого начала. Пользователь привел конкретный пример: 40-минутная исследовательская задача, которая перезапускалась с начала после любого сетевого сбоя, в результате чего приходилось платить за одни и те же 500 лидов дважды.

Решение: Контрольные точки для вызовов инструментов

Разработчик внедрил систему, которая создает контрольные точки для каждого вызова инструмента. Этот подход сразу сократил расходы на API, предотвращая повторные вычисления уже оплаченной работы. В источнике не было предоставлено конкретных технических деталей реализации системы контрольных точек.

Темы для обсуждения в сообществе

Автор исходного поста задал сообществу два конкретных вопроса об управлении состоянием:

• Разработчики все еще вручную подключают каждого агента к Redis для сохранения прогресса?
• Или они позволяют циклам повторных попыток съедать их бюджет?

Источник подчеркивает распространенную, но часто игнорируемую проблему в развертывании ИИ-агентов, где сохранение состояния не встроено во многие рабочие процессы, что приводит к значительной неэффективности затрат при возникновении прерываний.