Desglose de costos del agente de IA: $12 mensual con modelos locales y APIs en la nube.

Desglose de costos para ejecutar un agente de IA

Un desarrollador compartió su experiencia ejecutando un agente de IA durante un mes con un costo total de $12. La configuración utilizó una Mac Mini con Ollama para ejecución de modelos locales y APIs en la nube para ciertas tareas.

Detalles específicos de la fuente

• Costo total: $12 por un mes de operación
• Uso de modelos locales: 80% mediante Ollama a $0 costo
• Uso de API en la nube: 20% a aproximadamente $12 costo
• Volumen de tareas: Alrededor de 800 tareas completadas durante el mes
• Infraestructura: Hardware Mac Mini ejecutando Ollama para inferencia local

Incidente crítico y mitigación

Un solo incidente de bucle de reintento casi consumió todo el presupuesto, costando $4.80 en solo 11 minutos. Esta experiencia llevó a implementar cortacircuitos en todas las operaciones para prevenir costos descontrolados similares en el futuro.

El desarrollador preguntó a la comunidad sobre su propio seguimiento de costos entre uso local y en la nube de IA, específicamente consultando sobre las divisiones de otros entre estos enfoques.

Ollama es una herramienta para ejecutar modelos de lenguaje grandes localmente en hardware personal, lo que elimina costos de API pero requiere recursos computacionales suficientes. La Mac Mini mencionada proporciona un equilibrio entre rendimiento y eficiencia energética para cargas de trabajo de IA local. Los cortacircuitos en este contexto se refieren a patrones de programación que evitan que intentos fallidos repetidos acumulen costos excesivos, similares a los cortacircuitos eléctricos que previenen sobrecargas.