Détail des coûts de l'agent IA : 12 $ par mois avec des modèles locaux et des API cloud.

Répartition des coûts pour faire fonctionner un agent IA

Un développeur a partagé son expérience de fonctionnement d'un agent IA pendant un mois pour un coût total de 12 $. La configuration utilisait un Mac Mini avec Ollama pour l'exécution locale des modèles et des API cloud pour certaines tâches.

Détails spécifiques de la source

• Coût total : 12 $ pour un mois d'opération
• Utilisation des modèles locaux : 80 % via Ollama à un coût de 0 $
• Utilisation des API cloud : 20 % à un coût d'environ 12 $
• Volume des tâches : Environ 800 tâches réalisées pendant le mois
• Infrastructure : Matériel Mac Mini exécutant Ollama pour l'inférence locale

Incident critique et atténuation

Un seul incident de boucle de réessai a presque consommé l'intégralité du budget, coûtant 4,80 $ en seulement 11 minutes. Cette expérience a conduit à la mise en œuvre de disjoncteurs sur toutes les opérations pour éviter des coûts incontrôlés similaires à l'avenir.

Le développeur a interrogé la communauté sur leur propre suivi des coûts entre l'utilisation locale et cloud de l'IA, demandant spécifiquement les répartitions des autres entre ces approches.

Ollama est un outil pour exécuter des grands modèles de langage localement sur du matériel personnel, ce qui élimine les coûts d'API mais nécessite des ressources de calcul suffisantes. Le Mac Mini mentionné offre un équilibre entre performance et efficacité énergétique pour les charges de travail d'IA locales. Les disjoncteurs dans ce contexte font référence à des modèles de programmation qui empêchent les tentatives répétées échouées d'accumuler des coûts excessifs, similaires aux disjoncteurs électriques qui préviennent les surcharges.