Гибридный подход "Локальный+API" снижает затраты на ИИ на 79% в ходе месячного тестирования.

Разработчик поделился подробными результатами месячной работы гибридной системы ИИ (локальные модели + API), показав значительную экономию по сравнению с подходами, использующими только API или только локальные модели. Система обрабатывает электронную почту, генерацию кода, исследования и мониторинг, выполняя около 500 API-вызовов в день.

Детализация затрат и экономия

Ежемесячные расходы снизились с $288 до примерно $60, что составляет сокращение на 79%. Разработчик отмечает, что 79% экономии получено за счёт отказа от использования дорогих API-моделей для простых задач, тогда как локальные модели внесли вклад лишь в 15-20% от общей экономии. Решения по маршрутизации задач обеспечили 45% экономии.

Реализация локальных моделей

• Эмбеддинги: Переключился на nomic-embed-text через Ollama (274 МБ, работает на CPU). Качество было «достаточно близким для поиска, и я на практике действительно не чувствую разницы». Экономия составила около $40 в месяц.
• Фоновые задачи: Использует Qwen2.5 7B для парсинга логов, простой классификации и запланированных отчётов. Работает бесплатно на VPS для задач, не требующих творческого мышления.

Где локальные модели не справились

Пробовал Qwen2.5 14B и квантованную Llama 70B для сложных задач, таких как анализ, написание контента и ревью кода. Разрыв в качестве был настолько значительным, что «я тратил больше времени на проверку и исправление результатов, чем экономил на API-расходах». Разработчик подчёркивает, что «плохие результаты от локальных моделей не просто ничего не стоят — они стоят вам ВРЕМЕНИ».

Текущая стратегия гибридной маршрутизации

• Эмбеддинги: nomic-embed-text (локально) — $0
• Простые задачи: Claude Haiku ($0.25/М) — 85% вызовов
• Фоновые/запланированные: Qwen2.5 7B (локально) — 15% вызовов
• Анализ/написание: Claude Sonnet ($3/М)
• Критические решения: Claude Opus ($15/М) — <2% вызовов

Ключевой вывод

Разработчик заключает: «Мечта о „полностью локальном“ решении заманчива, но преждевременна для рабочих нагрузок в продакшене. Модели на 7B параметров невероятны для своего размера, но они пока не могут заменить API-модели во всём. Настоящая оптимизация — не в выборе „локально или API“, а в маршрутизации каждой задачи к самому дешёвому инструменту, который справляется с ней достаточно хорошо».