Token Master: архитектурная концепция для экономии 30-70% на ИИ-агентах

Участник сообщества предложил Token Master — детальную архитектурную концепцию для интеллектуальной маршрутизации между моделями, способную снизить затраты на ИИ-агентов на 30-70% в зависимости от нагрузки.

Ключевой инсайт

Основной принцип: рассматривать модели как взаимозаменяемых stateless-воркеров, а не как постоянных разговорных партнёров.

Наивный round-robin (A в B в C) создаёт дрифт контекста, непоследовательность рассуждений и высокую латентность. Но управляемый политиками пул провайдеров решает реальные проблемы: лимиты, бюджеты, сбои провайдеров и оптимизацию затрат.

Компоненты архитектуры

• Слой общего состояния — репозиторий кода, граф задач, векторная память, структурированные саммари
• Policy engine — отслеживает расходы, лимиты, латентность; выбирает модель для каждой задачи
• Пул моделей — топовые (GPT/Claude), средние (Mixtral/Qwen), дешёвые (малые open-source модели)
• Этап валидации — тесты, метрики, опционально модель-критик

Поток задач

1. Агент создаёт задачу
2. Генерируется снапшот состояния
3. Policy engine выбирает модель
4. Модель выполняет stateless-задачу
5. Результат сохраняется в общем состоянии
6. Валидатор проверяет результат
7. Если ок — коммит; если нет — эскалация на более мощную модель

Почему это работает

Типичный паттерн: 60-80% задач решаются средними моделями, 10-20% требуют премиум-моделей, 5-10% нужны повторы. При правильной маршрутизации затраты существенно снижаются.