LLM 비용 프로파일러: API 지출을 추적하여 로컬 모델 도입 근거를 마련하는 오픈소스 도구

LLM 비용 프로파일러는 코드가 OpenAI와 Anthropic에 수행하는 모든 API 호출을 추적하여 정확히 어디에, 왜, 얼마를 지출하고 있는지 보여주는 오픈소스 파이썬 도구입니다. 이 도구는 복잡도 대비 과도하게 비싼 작업을 드러내어 로컬 추론으로 전환하는 근거로 사용할 구체적인 데이터를 제공합니다.

주요 기능 및 발견 사항

이 도구는 모든 것을 로컬 SQLite에 저장하며 MIT 라이선스를 따릅니다. 소스에 따르면, API 호출 낭비의 몇 가지 구체적인 예시를 발견했습니다:

• 5개 레이블 중 하나를 출력하는 GPT-4o를 사용한 분류기 — 어떤 괜찮은 7B 로컬 모델도 쉽게 처리할 수 있는 작업입니다. 비용: API 호출당 주당 약 $89.
• 동일한 프롬프트에 대한 수천 번의 중복 호출 — 캐싱이 전혀 없습니다. 캐싱이 있는 로컬 추론은 이를 사실상 무료로 만들 것입니다.
• 34%의 호출이 형식 오류로 인한 재시도였던 요약기. 제약된 생성을 가진 잘 튜닝된 로컬 모델은 이러한 종류의 낭비를 완전히 제거합니다.

저자는 이 도구가 로컬 추론 인프라에 투자하기 위한 구체적인 근거를 팀에 제공한다고 언급했습니다: "X 작업을 로컬 모델로 옮기면 정확히 이만큼의 금액을 절약할 수 있습니다."

이 도구는 https://github.com/BuildWithAbid/llm-cost-profiler에서 GitHub를 통해 이용 가능합니다. 저자는 로컬 모델 추론 비용(계산 시간 기반 비용 산정) 추적 지원도 추가할 계획이며, 커뮤니티에 이것이 유용할지 질문했습니다.

이러한 종류의 비용 프로파일링 도구는 AI 코딩 에이전트를 사용하는 개발자들에게 특히 관련이 있습니다. 왜냐하면 API 지출이 로컬 대안에 비해 비효율적일 수 있는 부분에 대한 데이터 기반 통찰력을 제공하기 때문입니다.