간단한 작업을 저렴한 모델로 라우팅하여 AI 비용을 40% 절감한 방법

OpenClaw를 3개월간 사용한 개발자가 작업 복잡도에 기반한 모델 라우팅 전략을 구현하여 AI 사용 비용을 40% 절감했습니다.

구현의 주요 세부사항

사용자는 사용 로그를 분석하고 작업의 약 60%가 다음과 같은 "매우 간단한" 작업이라는 사실을 발견했습니다:

• 파일 읽기
• Grep 작업
• 재포맷 작업
• 빠른 질의응답 세션

이러한 작업들은 이전에 Claude Sonnet을 통해 실행되었는데, 이 모델은 DeepSeek-v3나 Gemini Flash와 같은 저렴한 대안보다 약 10배 더 비싼 반면, 이러한 간단한 작업에는 눈에 띄는 품질 향상이 없었습니다.

라우팅 솔루션

개발자는 작업을 적절한 모델로 자동으로 전달하는 라우팅 계층을 설정했습니다:

• 복잡한 추론 및 아키텍처 결정: Claude Sonnet 계속 사용
• 간단한 작업: 자동으로 저렴한 모델(DeepSeek-v3, Gemini Flash)로 라우팅

이 구현은 개발자의 워크플로우에 어떠한 변경도 필요로 하지 않았습니다. 라우팅은 작업 유형에 따라 자동으로 이루어집니다.

결과

• 전체 비용 40% 절감
• 간단한 작업에서 품질 저하 없음
• Claude 사용량 절반 이상 감소
• Claude 사용량 감소로 인한 속도 제한 문제 거의 해소

사용자는 성능을 유지하면서 비용을 최적화하기 위해 다른 AI 모델 간에 워크로드를 어떻게 분할하고 있는지 커뮤니티의 의견을 구하고 있습니다.