Разбивка затрат на ИИ-агента: $12 в месяц с локальными моделями и облачными API.

Разбивка затрат на запуск ИИ-агента

Разработчик поделился опытом запуска ИИ-агента в течение месяца с общей стоимостью $12. В настройке использовался Mac Mini с Ollama для локального выполнения моделей и облачные API для определенных задач.

Конкретные детали из источника

• Общая стоимость: $12 за один месяц работы
• Использование локальных моделей: 80% через Ollama при стоимости $0
• Использование облачных API: 20% при стоимости примерно $12
• Объем задач: Около 800 задач выполнено за месяц
• Инфраструктура: Аппаратное обеспечение Mac Mini, запускающее Ollama для локального вывода

Критический инцидент и меры по устранению

Один инцидент с циклом повторных попыток почти потребил весь бюджет, стоив $4.80 всего за 11 минут. Этот опыт привел к внедрению механизмов автоматического отключения для всех операций, чтобы предотвратить подобные неконтролируемые затраты в будущем.

Разработчик спросил сообщество об их собственном отслеживании затрат между локальным и облачным использованием ИИ, конкретно интересуясь, как другие распределяют использование между этими подходами.

Ollama — это инструмент для запуска больших языковых моделей локально на персональном оборудовании, что исключает затраты на API, но требует достаточных вычислительных ресурсов. Упомянутый Mac Mini обеспечивает баланс производительности и энергоэффективности для локальных рабочих нагрузок ИИ. Механизмы автоматического отключения в этом контексте относятся к шаблонам программирования, которые предотвращают накопление чрезмерных затрат из-за повторных неудачных попыток, аналогично электрическим автоматическим выключателям, предотвращающим перегрузки.