Databricks сокращает затраты на ИИ-кодирование на 70%: гибкость моделей, открытый исходный код и граница эффективности

Databricks сообщает о сокращении расходов на ИИ-кодинг на 70% при сохранении скорости разработки, используя комбинацию агрессивной смены моделей, внутренних бенчмарков и инфраструктуры, которую они открыли. Ключевой вывод: большинству задач кодинга не нужен интеллект уровня frontier-моделей, поэтому реальная цель — граница эффективности — лучшее соотношение цены и качества. Вот что сработало.

Ключевые рычаги затрат

• Переход на открытые и более дешевые модели — Самый значимый рычаг. Databricks создала внутренний бенчмарк, который показал, что модели GLM предлагают конкурентоспособное соотношение цены и производительности, что привело к внедрению по всей компании. Stripe аналогично тестировала Opus 4.7, но отказалась от его развертывания, потому что он стоил больше, не улучшая качество. Databricks увидела то же самое при сравнении Opus 5.0 и 4.8.
• Гибкость инструментов и моделей — Чтобы быстро внедрять новые модели, нужны инструменты, позволяющие переключаться. Databricks открыла исходный код Omnigent (мета-харнес для конечных пользователей) и Unity AI Gateway для маршрутизации трафика между моделями. Они также позволяют разработчикам использовать знакомые харнесы (Claude Code, Codex, Cursor), но направляют их на экономически эффективные модели через шлюз.

Граница эффективности

Frontier-лаборатории оптимизируют пиковый интеллект, но повседневный кодинг не требует математических доказательств или новых эксплойтов безопасности. Граница эффективности — модели, дающие наилучший интеллект за доллар — продвигается гораздо быстрее. Публичные бенчмарки не отражают реальную производительность кодинга, поэтому Databricks и коллеги создают внутренние оценки, отражающие их собственные рабочие нагрузки.

Что это значит для вашей команды

Если вы управляете расходами на ИИ-кодинг, план действий таков:

• Создавайте или внедряйте внутренние бенчмарки, адаптированные к вашей кодовой базе, для оценки новых моделей по мере их появления.
• Будьте готовы быстро переключаться между моделями — не привязывайтесь к одному поставщику.
• Используйте шлюз для динамической маршрутизации запросов к самой дешевой модели, соответствующей стандартам качества.
• Отслеживайте регресс затрат при обновлении моделей; иногда старая модель остается более выгодной.

Databricks утверждает, что эти методы позволяют удерживать совокупные затраты в фиксированных пределах на пользователя, даже при росте использования. Для получения более подробной информации и полного технического стека прочитайте их пост.