NerfGuard: Классификатор, направляющий запросы кода на более дешевые модели, сокращая расходы в 3 раза
Команда, перешедшая с Claude Code на Codex ради скорости и управляемости, столкнулась с серьезными затратами на токены. Ежедневный счет был впечатляющим, и они заметили, что используют топовые модели с максимальными рассуждениями для каждой задачи, даже тривиальной. Поэтому они создали NerfGuard — быстрый классификатор, который направляет каждый запрос в самую дешевую модель с необходимой глубиной рассуждений.
Основой является классификатор, определяющий минимальный уровень интеллекта, необходимый для данного запроса кодирования. Сверху применяются автоматические методы эффективности токенов. Результат: примерно то же качество при многократно меньших затратах токенов, а из-за правильного распределения интеллекта и рассуждений скорость также значительно возрастает. Команда наблюдала до 3-кратной экономии и сэкономленных часов в день на человека, потраченных ранее на ожидание ответов инструментов и агентов.
Ключевые детали из источника:
- Классификатор направляет в самую дешевую модель + глубину рассуждений для каждого запроса
- Дополнительные автоматические методы эффективности токенов
- Результат: 3-кратное использование при тех же затратах
- Улучшение скорости: сэкономленные часы в день на человека
- Больше использований до достижения лимитов
В настоящее время используется инженерами в нескольких AI-компаниях. Инструмент доступен на nerfguard.com.
Для кого это: команды, использующие кодировочные агенты (Claude Code, Codex и т.д.), которые хотят максимизировать отдачу на доллар и сократить время ожидания.
📖 Читать полный источник: HN AI Agents
👀 Смотрите также
Definable AI добавляет саморазмещаемую панель мониторинга с одним флагом
Definable AI, фреймворк с открытым исходным кодом на Python для создания AI-агентов, теперь включает встроенную панель мониторинга, которую можно включить одним флагом. Панель предоставляет потоковую передачу событий в реальном времени, учёт токенов, метрики задержки и воспроизведение запусков без внешних зависимостей.
Клодебин: Экспортируйте и делитесь своими сессиями кода Claude
Claudebin позволяет экспортировать целые сеансы Claude Code, делая их доступными для совместного использования и возобновления через один URL.
Щитбот: Открытый плагин-сканер безопасности для Claude Code
Shieldbot — это сканер безопасности с открытым исходным кодом, который работает как плагин внутри Claude Code, объединяя шесть сканеров, включая Semgrep с более чем 5000 правил, Bandit, Ruff, detect-secrets, pip-audit и npm audit. Он устраняет дублирование результатов и генерирует приоритизированные отчёты с оценками риска и исправлениями кода.
Келет: Автоматизированный анализ первопричин для ИИ-агентов
Kelet — это сервис, который автоматически анализирует сбои в работе AI-агентов в продакшене, группируя трассировки и сигналы для выявления коренных причин и предложения исправлений. Интегрируется через Python/TypeScript SDK или установочный скилл и в настоящее время бесплатен в период бета-тестирования.