Песочница для агентов: устойчивое выполнение и холодные старты

В блоге Mendral утверждается, что обвязка агента — цикл, который управляет LLM, отправляя промпты, выполняя вызовы инструментов и возвращая результаты обратно, — должна работать вне песочницы, особенно для многопользовательских агентов. Они сравнивают две архитектуры и детально описывают три проблемы, которые решили при переходе на внешнюю модель.

Две архитектуры

• Обвязка внутри песочницы: Цикл находится в том же контейнере, что и код, с которым он работает. Вызовы инструментов (bash, read, write) выполняются локально. Навыки и память — это файлы в файловой системе контейнера. Так работает Claude Code локально. Простая модель выполнения, но учетные данные находятся внутри песочницы, песочница является сессией (ее потеря приводит к потере прогресса), а многопользовательский режим превращается в проблему распределенной файловой системы.
• Обвязка вне песочницы: Цикл выполняется на бэкенде и вызывает песочницу через API для выполнения инструментов. Учетные данные остаются за пределами песочницы (модель разрешений не нужна). Песочницы можно приостанавливать при простое, они становятся скотом (переживают сбои), а многопользовательское совместное использование — это проблема общей базы данных, а не распределенной файловой системы.

Три решенные проблемы

1. Устойчивое выполнение: Сессии агента могут длиться часами и должны переживать развертывания и сбои. Mendral использует Inngest для контрольных точек — каждый шаг является шагом, и цикл продолжает с того места, где остановился, если сервер перезагружается.
2. Жизненный цикл песочницы с низким холодным стартом: Цикл большую часть времени приостановлен (например, во время вызовов LLM). Они используют Blaxel для возобновления песочниц из режима ожидания за ~25 мс, избегая секундного холодного старта во время интерактивных шагов.
3. Абстракция файловой системы: Поскольку обвязка и песочница находятся на разных машинах, общая файловая система больше недоступна. Mendral отмечает, что им пришлось решать эту проблему, но в статье основное внимание уделяется первым двум как ключевым решенным проблемам.

В статье делается вывод, что внешняя модель превосходит для многопользовательских конфигураций, несмотря на сложность устойчивого выполнения и обработки холодного старта.