Компоненты кодирующего агента: как инструменты, память и контекст расширяют возможности больших языковых моделей

Себастьян Рашка описывает архитектуру кодирующих агентов — систем, которые оборачивают большие языковые модели в прикладные слои для повышения производительности при выполнении задач программирования. Он разграничивает большие языковые модели, модели рассуждений и агентов, объясняя, что значительная часть практического прогресса в системах с большими языковыми моделями достигается за счёт окружающих системных компонентов, а не только за счёт улучшения самих моделей.

Ключевые компоненты кодирующих агентов

В статье выделяются шесть основных строительных блоков, которые делают кодирующих агентов эффективными:

• Контекст репозитория: Навигация и управление информацией из репозитория кода
• Дизайн инструментов: Интеграция внешних инструментов и функций
• Стабильность кэша промптов: Последовательное управление промптами между сессиями
• Память: Сохранение состояния и непрерывность сессии
• Непрерывность длинных сессий: Поддержание контекста в течение продолжительных взаимодействий
• Выбор модели: Подбор подходящей большой языковой модели или модели рассуждений

Архитектурные слои

Рашка определяет несколько ключевых понятий в экосистеме агентов:

• Большая языковая модель (LLM): Базовая модель предсказания следующего токена
• Модель рассуждений: Большая языковая модель, обученная или промптированная для траты большего вычислительного времени на промежуточные рассуждения, проверку или поиск среди кандидатов ответов
• Агент: Управляющий цикл вокруг модели, который решает, что исследовать дальше, какие инструменты вызывать, как обновлять своё состояние и когда остановиться
• Агентная оболочка: Программный каркас вокруг агента, который управляет контекстом, использованием инструментов, промптами, состоянием и потоком управления
• Кодирующая оболочка: Частный случай агентной оболочки, специально предназначенный для разработки программного обеспечения, который управляет контекстом кода, инструментами, выполнением и итеративной обратной связью

Он отмечает, что Claude Code и Codex CLI можно рассматривать как кодирующие оболочки. Взаимосвязь описывается так: большая языковая модель — это двигатель, модель рассуждений — это усиленный двигатель, а агентная оболочка помогает нам эффективно использовать модель.

Работа с кодом включает в себя не только генерацию следующего токена — она требует навигации по репозиторию, поиска, поиска функций, применения изменений (diff), выполнения тестов, проверки ошибок и управления контекстом. Кодирующие оболочки объединяют три слоя: семейство моделей, агентный цикл и поддержку времени выполнения.