원시인 대 '간결하게' 프롬프트: 클로드 압축 프롬프트 벤치마킹

한 개발자가 caveman(널리 사용되는 단축 압축 프롬프트)과 간단한 프롬프트 '간결히.'를 비교하여 추가 복잡성이 실제로 효과가 있는지 벤치마킹했습니다. 테스트는 6개 카테고리에 걸쳐 24개의 개발 프롬프트를 실행했으며, 기준선, '간결히.', caveman lite, caveman full, caveman ultra의 5개 부문을 비교했습니다. 출력은 별도의 Claude 인스턴스가 프롬프트별 평가 기준을 사용하여 평가했습니다.

벤치마크 결과

• 기준선: 평균 점수 0.985, 평균 토큰 636
• '간결히.': 평균 점수 0.985, 평균 토큰 419
• Caveman lite: 평균 점수 0.976, 평균 토큰 401
• Caveman full: 평균 점수 0.975, 평균 토큰 404
• Caveman ultra: 평균 점수 0.970, 평균 토큰 449

두 단어 버전은 압축과 품질 모두에서 caveman과 일치했습니다. 그러나 caveman의 가치는 다른 곳에 있습니다: 일관된 출력 구조, 모드 전환, 그리고 파괴적 작업에 대한 안전 탈출입니다. 안전 탈출은 실제로 출력 품질에 상당한 변동을 도입했으며, 이는 특정 사용 사례에서 우려가 될 수 있습니다.

카테고리별 데이터와 안전 질문에 대한 변동 분석을 포함한 전체 분석은 저자의 사이트에서 확인할 수 있습니다. 벤치마크 하네스는 GitHub에서 오픈소스로 제공됩니다.