NerfGuard: 코딩 요청을 저렴한 모델로 라우팅하여 비용을 3배 절감하는 분류기
속도와 제어성을 위해 Claude Code에서 Codex로 전환한 팀은 토큰당 과금에 큰 부담을 느꼈습니다. 일일 요금이 상당했고, 모든 작업에 최상위 모델과 최대 추론을 사용하고 있었기 때문입니다. 그래서 그들은 NerfGuard를 만들었습니다. 각 요청을 필요한 최소한의 모델과 추론 깊이로 라우팅하는 빠른 분류기입니다.
핵심은 주어진 코딩 요청에 필요한 최소 지능을 결정하는 분류기입니다. 여기에 자동 토큰 효율화 기술을 적용합니다. 결과적으로 동일한 품질을 유지하면서 토큰 소비는 대폭 줄이고, 지능과 추론이 적절히 배분되어 속도도 크게 향상됩니다. 팀은 최대 3배 절감과 하루에 한 사람당 도구 사용 및 에이전트 응답 대기 시간에서 몇 시간을 절약했습니다.
출처의 주요 내용:
- 분류기가 각 요청에 가장 저렴한 모델 + 추론 깊이로 라우팅
- 추가 자동 토큰 효율화 기술
- 결과: 동일 비용으로 3배 사용량
- 속도 향상: 하루에 한 사람당 몇 시간 절약
- 조절 한도에 도달하기 전에 더 많은 사용량
현재 여러 AI 회사의 엔지니어들이 사용 중입니다. 도구는 nerfguard.com에서 확인할 수 있습니다.
대상: 코딩 에이전트(Claude Code, Codex 등)를 사용하며 비용 대비 출력을 최대화하고 대기 시간을 줄이려는 팀.
📖 전체 출처 읽기: HN AI Agents
👀 See Also
포켓봇: iOS 앱이 자연어로부터 결정론적 JavaScript 자동화를 생성하기 위해 Claude를 사용합니다
PocketBot은 AWS Bedrock을 통해 Claude를 활용하여 일반 언어 요청을 독립적인 JavaScript 스크립트로 변환하는 iOS 모바일 자동화 앱입니다. LLM이 코드를 한 번 작성하면, 결정론적 스크립트가 AI 개입 없이 샌드박스 런타임에서 예약 실행됩니다.
SIDJUA V1.0: AI 에이전트를 위한 셀프 호스팅 거버넌스 플랫폼
SIDJUA V1.0은 Docker에서 실행되는 AI 에이전트를 위한 무료, 자체 호스팅 거버넌스 플랫폼으로, 라즈베리 파이를 포함합니다. 이 플랫폼은 에이전트 작업에 대한 필수 검문소, 암호화된 자격 증명 저장소, 네트워크 격리, 세분화된 예산 제어 기능을 제공합니다.
일회성 읽기: 중복 파일 읽기를 방지하는 Claude 코드 훅
한 개발자가 read-once라는 PreToolUse 훅을 만들어서 Claude Code가 세션 중에 같은 파일을 반복해서 읽는 경향을 해결했습니다. 이로 인해 불필요한 토큰 소비를 방지합니다.
자동 라우터 대 소넷: 비용 절감 대 응답 품질
Open Router의 Auto Router 기능은 컨텍스트 복잡도에 따라 LLM을 동적으로 선택하여 상당한 비용 절감 효과(요청당 0.8센트 대비 0.00071센트)를 제공하지만, 사용자들은 Sonnet 4.6 대비 응답 품질이 저하되었다고 보고합니다.