NerfGuard: Ein Klassifikator, der Codierungsanfragen an günstigere Modelle weiterleitet und die Kosten um das Dreifache senkt

Ein Team, das aus Gründen der Geschwindigkeit und Steuerbarkeit von Claude Code zu Codex wechselte, wurde hart von der nutzungsbasierten Abrechnung getroffen. Die tägliche Rechnung war erschreckend, und sie stellten fest, dass sie für jede Aufgabe, selbst für triviale, Top-Modelle mit maximalem Reasoning verwendeten. Also entwickelten sie NerfGuard — einen schnellen Klassifizierer, der jede Anfrage an das günstigste Modell und die erforderliche Reasoning-Tiefe weiterleitet.

Der Kern ist ein Klassifizierer, der die minimale Intelligenz bestimmt, die für eine bestimmte Codierungsanfrage benötigt wird. Darüber hinaus werden automatische Token-Effizienztechniken angewendet. Das Ergebnis: etwa die gleiche Qualität bei einem Bruchteil der Token-Kosten, und da Intelligenz und Reasoning optimal verteilt werden, steigt auch die Geschwindigkeit erheblich. Das Team beobachtete 3-fache Einsparungen und Stunden pro Tag und Person, die durch Warten auf Tool-Durchläufe und Agentenantworten eingespart wurden.

Wichtige Details aus der Quelle:

• Klassifizierer leitet an günstigstes Modell + Reasoning-Tiefe für jede Anfrage weiter
• Zusätzliche automatische Token-Effizienztechniken
• Ergebnis: 3x Nutzung bei gleichen Kosten
• Geschwindigkeitsverbesserungen: Stunden pro Tag und Person eingespart
• Mehr Nutzung vor Erreichen von Drosselungsgrenzen

Dies wird derzeit von Ingenieuren mehrerer KI-Unternehmen genutzt. Das Tool ist verfügbar unter nerfguard.com.

Für wen es geeignet ist: Teams, die Codierungsagenten (Claude Code, Codex usw.) verwenden und ihre Ausgabe pro Dollar maximieren und Wartezeiten reduzieren möchten.