Infracost reduce el uso de tokens de Claude en un 79% al rediseñar la CLI para agentes de IA

Infracost, una herramienta CLI que estima los costos de infraestructura en la nube a partir de Terraform, CloudFormation y CDK, ha rediseñado su salida para agentes de codificación de IA como Claude Code y Cursor. El resultado: hasta un 79% menos de tokens de salida y un 67% menos de costos de API en comparación con una línea base de Claude solo. El rediseño se basa en dos técnicas: pushdown de predicados en la CLI y un formato de salida eficiente en tokens.

Detalles del benchmark

• 16 preguntas sobre un fixture de Terraform de 3 proyectos con 1,171 recursos
• Modelo: Claude Opus, 5 repeticiones por pregunta
• Línea base: Claude solo con herramientas Bash y Read, sin skill cargado
• Comparado con el skill de Infracost usando el flag de salida --llm

Resultados clave

Un ejemplo: la pregunta "contar recursos distintos que fallan la política de etiquetado, deduplicados entre proyectos" costó $3.51 con Claude solo y alcanzó el límite de 25 turnos, sin devolver respuesta. Con el CLI rediseñado, la misma pregunta costó $0.25 y devolvió la respuesta correcta.

Enfoque técnico

• Pushdown de predicados: En lugar de que el agente canalice JSON a través de jq o escriba parsers en Python, el CLI acepta flags de filtrado (por ejemplo, --tag-policy), trasladando la computación a la propia herramienta. Esto reduce el número de turnos y el consumo de tokens.
• Formato de salida eficiente en tokens: El flag --llm devuelve un formato compacto y amigable para agentes, en lugar de tablas verbosas legibles por humanos o JSON completo. Esto solo representa una parte significativa de la reducción.

Problemáticas del harness de benchmark

Infracost publicó su configuración de harness como código abierto para ayudar a otros a evitar problemas:

• Usar HOME en sandbox para ejecuciones de línea base para evitar la carga accidental de skills
• Establecer TMPDIR en un directorio local del proyecto para evitar problemas de ACL en macOS
• Anteponer el binario de prueba al PATH en lugar de depender de la instalación del sistema
• Usar 5+ repeticiones por celda debido a una varianza del 20-30% en tokens
• Re-ejecutar celdas que alcanzan límites de turnos (--rerun-failed) y re-puntuar si el verificador cambia (--rescore)

Si mantienes un CLI al que los agentes de IA llaman como subproceso, los mismos dos movimientos (pushdown de predicados y un formato de salida dedicado para agentes) probablemente aplican. El rediseño también mejoró el CLI orientado a humanos, aunque el artículo se centra en la ruta del agente.