Databricks将AI编码成本降低70%：模型灵活性、开源与效率前沿

Databricks는 공격적인 모델 전환, 내부 벤치마킹, 그리고 오픈소스화한 인프라를 결합하여 개발자 생산성을 유지하면서 AI 코딩 비용을 70% 절감했습니다. 핵심 통찰: 대부분의 코딩에는 최첨단 지능이 필요하지 않으므로, 실제 목표는 효율성 프론티어—주어진 품질 기준에 가장 좋은 가격—입니다. 다음은 효과가 있었던 것들입니다.

주요 비용 레버

• 오픈소스 및 저비용 모델로 전환 — 가장 큰 단일 레버. Databricks는 GLM 모델이 경쟁력 있는 가격/성능을 제공한다는 내부 벤치마크를 구축하여 회사 전체에 도입했습니다. Stripe도 Opus 4.7을 테스트했지만 품질 향상 없이 비용만 증가하여 배포를 거부했습니다. Databricks도 Opus 5.0과 4.8에서 같은 현상을 보았습니다.
• 하네스 및 모델 유연성 — 새 모델을 빠르게 채택하려면 전환을 가능하게 하는 도구가 필요합니다. Databricks는 Omnigent(엔드유저 메타 하네스)와 Unity AI Gateway를 오픈소스화하여 모델 간 트래픽을 라우팅합니다. 또한 개발자가 익숙한 하네스(Claude Code, Codex, Cursor)를 사용할 수 있지만 게이트웨이를 통해 비용 효율적인 모델로 안내합니다.

효율성 프론티어

프론티어 연구소는 최고 지능에 최적화하지만, 일상적인 코딩에는 수학 증명이나 새로운 보안 익스플로잇이 필요하지 않습니다. 효율성 프론티어—달러당 최고 지능을 제공하는 모델—는 훨씬 빠르게 발전하고 있습니다. 공개 벤치마크는 실제 코딩 성능을 포착하지 못하므로, Databricks와 동료들은 자체 개발 워크로드를 반영한 내부 평가를 구축합니다.

팀에 의미하는 것

AI 코딩 비용을 관리하고 있다면, 실행 방법은 다음과 같습니다:

• 코드베이스에 맞춘 내부 벤치마크를 구축하거나 채택하여 새 모델을 평가하세요.
• 빠르게 모델을 전환할 준비를 하세요—단일 공급업체에 고정하지 마세요.
• 게이트웨이를 사용하여 품질 기준을 충족하는 가장 저렴한 모델로 요청을 동적으로 라우팅하세요.
• 모델 업데이트 시 비용 회귀를 모니터링하세요; 때로는 이전 모델이 여전히 더 나은 경제적 선택입니다.

Databricks는 이러한 기술을 통해 사용량이 증가해도 사용자당 총 비용을 고정 범위로 유지할 수 있다고 주장합니다. 자세한 내용과 전체 기술 스택은 그들의 게시물을 읽어보세요.