Claude 프롬프트 캐시 진단: 통계 스레드가 98.9% 캐시 읽기 비율 공개

이틀 전, Anthropic은 Claude Console에 프롬프트 캐시 진단 기능을 출시했습니다. 이는 개발자가 요청이 캐시를 놓치는 이유를 파악하고 비용을 절감할 수 있도록 돕는 도구입니다. 한 개발자(u/samuelroy_)가 커뮤니티 스레드에서 자신의 통계를 공유하며, 패턴을 찾고 전반적인 캐시 성능을 개선하는 데 기여하고자 했습니다.

출처의 주요 통계

• 전체 캐시 읽기 비율: 98.9%
• 캐시 미스의 80%는 messages changed 때문입니다.
• Sonnet의 쓰기 상각비: 3.69배

개발자는 자신의 프로젝트가 메시지를 기록에만 추가하도록 설계되어 있어, messages changed로 인한 높은 미스율이 의외라고 언급했습니다. 가능한 설명은 사용자가 대화를 포크(fork)하여 메시지 체인이 변경되기 때문입니다.

의미

프롬프트 캐싱은 비용과 지연 시간을 줄여줍니다. 읽기 비율이 98.9%로 이미 효율적이지만, 진단 데이터는 불필요한 메시지 변경을 줄이는 것이 개선 영역임을 명확히 보여줍니다. 유사한 패턴이 나타난다면 대화 포크 또는 편집 방식을 감사하여 캐시 적중률을 높일 수 있습니다.

참고로 쓰기 상각비(Sonnet의 경우 3.69배)는 읽기 대비 캐시 항목이 쓰여진 횟수를 나타내며, 값이 낮을수록 좋습니다.

이와 같은 자체 분석은 AI API 비용 최적화의 한 단계 진전입니다. 다른 제공업체들도 이를 따를 것으로 예상됩니다.