Análise de custos do agente de IA: US$ 12 mensais com modelos locais e APIs em nuvem

Detalhamento de custos para executar um agente de IA

Um desenvolvedor compartilhou sua experiência executando um agente de IA por um mês com um custo total de $12. A configuração utilizou um Mac Mini com Ollama para execução de modelos locais e APIs em nuvem para certas tarefas.

Detalhes específicos da fonte

• Custo total: $12 por um mês de operação
• Uso de modelos locais: 80% via Ollama a custo $0
• Uso de APIs em nuvem: 20% a aproximadamente $12 de custo
• Volume de tarefas: Cerca de 800 tarefas concluídas durante o mês
• Infraestrutura: Hardware Mac Mini executando Ollama para inferência local

Incidente crítico e mitigação

Um único incidente de loop de repetição quase consumiu todo o orçamento, custando $4,80 em apenas 11 minutos. Essa experiência levou à implementação de disjuntores em todas as operações para evitar custos descontrolados semelhantes no futuro.

O desenvolvedor perguntou à comunidade sobre seus próprios rastreamentos de custos entre uso local e em nuvem de IA, especificamente questionando sobre as divisões de outros entre essas abordagens.

Ollama é uma ferramenta para executar grandes modelos de linguagem localmente em hardware pessoal, o que elimina custos de API, mas requer recursos computacionais suficientes. O Mac Mini mencionado oferece um equilíbrio entre desempenho e eficiência energética para cargas de trabalho de IA local. Disjuntores neste contexto referem-se a padrões de programação que previnem tentativas repetidas falhas de acumularem custos excessivos, semelhantes a disjuntores elétricos que previnem sobrecargas.