Снижение задержки мультимодального агента за счет исключения истории скриншотов

Снижение задержки за счёт исключения скриншотов

Разработчик, создающий компьютерных агентов, определил задержку как основную проблему, особенно при ожидании, пока агенты выполнят простые действия, такие как нажатие кнопок. Чтобы решить эту проблему, они провели эксперимент с использованием Claude, чтобы найти способы снижения задержки помимо простого выбора модели.

Ключевым выводом стало то, что задержку можно значительно снизить, исключив предыдущие скриншоты из запросов агентов. Вместо включения полных данных изображений в формате base64 для исторических скриншотов разработчик заменил их строкой "[изображение опущено]". Этот подход сохраняет постоянную задержку, сокращая общее время отклика.

Разработчик отметил, что фокус на агентной инженерии и паттернах ReAct заставил их упустить из виду базовые принципы HTTP, влияющие на производительность. Эксперимент и выводы задокументированы в репозитории GitHub под названием "inference-latency-study", созданном Emericen.

Техническая реализация

Основная техника включает изменение обработки истории скриншотов мультимодальными агентами:

• Вместо отправки полных изображений в формате base64 для предыдущих скриншотов
• Замените их текстом-заполнителем: "[изображение опущено]"
• Сохраняйте данные текущего скриншота, исключая исторические данные изображений

Этот подход уменьшает размер полезной нагрузки и время передачи без ущерба для способности агента понимать и взаимодействовать с текущим состоянием экрана.

Репозиторий GitHub содержит экспериментальную установку и результаты, предоставляя практический справочник для разработчиков, работающих с мультимодальными агентами и сталкивающихся с проблемами задержки.