NerfGuard: Классификатор, направляющий запросы кода на более дешевые модели, сокращая расходы в 3 раза

Команда, перешедшая с Claude Code на Codex ради скорости и управляемости, столкнулась с серьезными затратами на токены. Ежедневный счет был впечатляющим, и они заметили, что используют топовые модели с максимальными рассуждениями для каждой задачи, даже тривиальной. Поэтому они создали NerfGuard — быстрый классификатор, который направляет каждый запрос в самую дешевую модель с необходимой глубиной рассуждений.

Основой является классификатор, определяющий минимальный уровень интеллекта, необходимый для данного запроса кодирования. Сверху применяются автоматические методы эффективности токенов. Результат: примерно то же качество при многократно меньших затратах токенов, а из-за правильного распределения интеллекта и рассуждений скорость также значительно возрастает. Команда наблюдала до 3-кратной экономии и сэкономленных часов в день на человека, потраченных ранее на ожидание ответов инструментов и агентов.

Ключевые детали из источника:

• Классификатор направляет в самую дешевую модель + глубину рассуждений для каждого запроса
• Дополнительные автоматические методы эффективности токенов
• Результат: 3-кратное использование при тех же затратах
• Улучшение скорости: сэкономленные часы в день на человека
• Больше использований до достижения лимитов

В настоящее время используется инженерами в нескольких AI-компаниях. Инструмент доступен на nerfguard.com.

Для кого это: команды, использующие кодировочные агенты (Claude Code, Codex и т.д.), которые хотят максимизировать отдачу на доллар и сократить время ожидания.