NerfGuard: Um Classificador que Roteia Solicitações de Codificação para Modelos Mais Baratos, Reduzindo Custos em 3x

Uma equipe que migrou do Claude Code para o Codex em busca de velocidade e controlabilidade se viu enfrentando altos custos por token. A conta diária era impressionante, e eles perceberam que estavam usando modelos de ponta com raciocínio máximo para cada tarefa, até as mais triviais. Então, construíram o NerfGuard — um classificador rápido que roteia cada solicitação para o modelo e profundidade de raciocínio menos caros necessários.

O núcleo é um classificador que determina a inteligência mínima necessária para uma determinada solicitação de codificação. Além disso, aplica técnicas automatizadas de eficiência de tokens. O resultado: aproximadamente a mesma qualidade para um gasto de tokens muito menor e, como a inteligência e o raciocínio são adequadamente alocados, a velocidade também aumenta consideravelmente. A equipe observou uma economia de até 3x e horas por dia por pessoa economizadas esperando por turnos de ferramentas e respostas do agente.

Detalhes principais da fonte:

• Classificador roteia para o modelo + profundidade de raciocínio mais baratos para cada solicitação
• Técnicas adicionais automáticas de eficiência de tokens
• Resultado: 3x mais uso pelo mesmo gasto
• Melhorias de velocidade: horas por dia por pessoa economizadas
• Mais uso antes de atingir limites de throttling

Atualmente, a ferramenta é usada por engenheiros em várias empresas de IA. A ferramenta está disponível em nerfguard.com.

Para quem é indicado: Equipes que usam agentes de codificação (Claude Code, Codex, etc.) que desejam maximizar a produção por dólar e reduzir o tempo de espera.