Perfilador de Costos de LLM: Herramienta de código abierto que monitorea el gasto en API para justificar el uso de modelos locales.

LLM Cost Profiler es una herramienta de Python de código abierto que rastrea cada llamada API que tu código hace a OpenAI y Anthropic, mostrando exactamente qué, dónde y por qué estás gastando. La herramienta expone qué tareas son demasiado caras en relación con su complejidad, proporcionando datos concretos para argumentar a favor de la inferencia local.

Características y Hallazgos Clave

La herramienta almacena todo en SQLite local y tiene licencia MIT. Según la fuente, encontró varios ejemplos específicos de desperdicio en llamadas API:

• Un clasificador que usa GPT-4o y produce una de 5 etiquetas — una tarea que cualquier modelo local decente de 7B maneja fácilmente. Costo: ~$89/semana en llamadas API.
• Miles de llamadas duplicadas al mismo prompt — sin caché alguno. La inferencia local con caché haría esto prácticamente gratuito.
• Un resumidor donde el 34% de las llamadas eran reintentos por errores de formato. Un modelo local bien ajustado con generación restringida elimina toda esta clase de desperdicio.

El autor señala que esta herramienta da a los equipos munición concreta para invertir en infraestructura de inferencia local: "Aquí está la cantidad exacta en dólares que ahorraríamos moviendo la tarea X a un modelo local."

La herramienta está disponible en GitHub en https://github.com/BuildWithAbid/llm-cost-profiler. El autor planea agregar soporte para rastrear costos de inferencia de modelos locales también (costos basados en tiempo de cómputo) y preguntó a la comunidad si esto sería útil.

Este tipo de herramienta de perfilado de costos es particularmente relevante para desarrolladores que usan agentes de codificación con IA, ya que proporciona información basada en datos sobre dónde el gasto en API podría ser ineficiente en comparación con alternativas locales.