Claude Haiku를 게이트키퍼로 활용하여 Sonnet API 비용을 80% 절감하기

한 개발자가 Claude AI 모델을 통해 대량의 비정형 텍스트를 처리하는 비용 절감 패턴을 공유했습니다. 이 접근 방식은 Claude Haiku를 게이트키퍼로 사용해 관련 없는 콘텐츠를 걸러낸 후, 가치 있는 데이터만 더 비싼 Claude Sonnet 모델로 보냅니다.

문제와 해결책

개발자는 PainSignal(painsignal.net)이라는 플랫폼을 구축했습니다. 이 플랫폼은 다양한 산업 분야의 근로자와 사업주로부터 수천 개의 실제 댓글을 수집한 후, 이를 구조화된 앱 아이디어로 분류합니다. 대부분의 입력은 '좋은 영상이네요', '첫 댓글' 또는 무작위 잡음과 같은 쓰레기 데이터였습니다. 이를 모두 Sonnet으로 보내는 것은 엄청나게 비쌌을 것입니다.

2단계 파이프라인

1단계 — 게이트 역할의 Haiku: 모든 댓글은 먼저 Haiku에 전달되어 간단한 프롬프트로 평가됩니다: "이 댓글에는 누군가의 업무와 관련된 실제 불만, 불평 또는 충족되지 않은 요구가 포함되어 있나요?" Haiku는 예/아니오와 신뢰도 점수를 반환합니다. 이 과정은 호출당 1센트의 일부 비용만 들며, 입력의 약 85%를 걸러냅니다.

2단계 — 실제 작업을 위한 Sonnet: 게이트를 통과한 댓글만 Sonnet으로 전송됩니다. 여기서 비용이 많이 드는 처리가 이루어집니다 — 핵심 문제점을 추출하고, 이를 산업 및 카테고리로 분류합니다(미리 정의된 목록 없이, 동적으로 분류 체계를 구축합니다), 심각도 점수를 할당하며, 기능과 수익 모델이 포함된 앱 컨셉을 생성합니다.

결과 및 구현 세부사항

결과적으로, 전체 입력의 약 15%만 Sonnet에서 처리하게 되어 수천 개의 댓글을 처리할 때 막대한 비용 절감 효과를 얻었습니다.

구현 과정에서 얻은 주요 교훈:

• Haiku는 게이트 역할에서 놀라울 정도로 뛰어납니다 — 실제 불만 사항을 일관되게 포착하며 거짓 부정(false negative)이 거의 없습니다
• 동적 분류 체계 접근법(사전에 카테고리를 정의하는 대신 Sonnet이 결정하도록 함)은 개발자가 전혀 생각지 못한 카테고리를 발견했습니다
• Sonnet 측면에서 배치 처리가 도움이 됩니다 — 모든 작업은 BullMQ를 통해 큐에 들어가 제어된 배치로 처리되어 API에 부하를 주지 않습니다

전체 시스템은 Claude Code를 사용하여 Next.js, pgvector가 포함된 Postgres 및 관련 기술로 구축되었습니다.