NerfGuard: 코딩 요청을 저렴한 모델로 라우팅하여 비용을 3배 절감하는 분류기

속도와 제어성을 위해 Claude Code에서 Codex로 전환한 팀은 토큰당 과금에 큰 부담을 느꼈습니다. 일일 요금이 상당했고, 모든 작업에 최상위 모델과 최대 추론을 사용하고 있었기 때문입니다. 그래서 그들은 NerfGuard를 만들었습니다. 각 요청을 필요한 최소한의 모델과 추론 깊이로 라우팅하는 빠른 분류기입니다.

핵심은 주어진 코딩 요청에 필요한 최소 지능을 결정하는 분류기입니다. 여기에 자동 토큰 효율화 기술을 적용합니다. 결과적으로 동일한 품질을 유지하면서 토큰 소비는 대폭 줄이고, 지능과 추론이 적절히 배분되어 속도도 크게 향상됩니다. 팀은 최대 3배 절감과 하루에 한 사람당 도구 사용 및 에이전트 응답 대기 시간에서 몇 시간을 절약했습니다.

출처의 주요 내용:

• 분류기가 각 요청에 가장 저렴한 모델 + 추론 깊이로 라우팅
• 추가 자동 토큰 효율화 기술
• 결과: 동일 비용으로 3배 사용량
• 속도 향상: 하루에 한 사람당 몇 시간 절약
• 조절 한도에 도달하기 전에 더 많은 사용량

현재 여러 AI 회사의 엔지니어들이 사용 중입니다. 도구는 nerfguard.com에서 확인할 수 있습니다.

대상: 코딩 에이전트(Claude Code, Codex 등)를 사용하며 비용 대비 출력을 최대화하고 대기 시간을 줄이려는 팀.