STAR 추론 프레임워크 정확도, 프로덕션 프롬프트에서 100%에서 0%로 급락

한 연구자가 STAR 추론 프레임워크를 고립된 환경과 프로덕션 프롬프트 내에서 테스트한 결과, 정확도가 100%에서 0-30%로 떨어지는 것을 발견했습니다. 이 프레임워크는 이전에 깨끗한 테스트 환경에서 암묵적 제약 문제에 대한 Claude의 정확도를 0%에서 100%로 높인 것으로 입증된 바 있습니다.

동일한 STAR 프레임워크를 실제 프로덕션 프롬프트(면접 코칭 앱의 60줄짜리 시스템 프레임워크로, 수개월간의 개발 과정에서 자연스럽게 성장한 것) 내에서 테스트했을 때, 정확도가 급격히 떨어졌습니다. 프로덕션 프롬프트에는 "구체적인 내용으로 시작하라"와 "요점을 먼저 제시하라" 스타일의 지침이 포함되어 있어, STAR 추론이 실행되기 전에 모델이 결론을 출력하도록 유도했습니다.

한 사례에서 모델은 다음과 같이 출력했습니다: "짧은 답변: 걸어가세요." 그리고 나서 제약 조건을 올바르게 식별하고 "세차장에 차를 몰고 가세요."라고 결론지은 완전한 STAR 분석이 이어졌습니다. STAR 추론은 올바르게 작동했지만, 잘못된 답변이 이미 초기 출력에서 확정된 상태였습니다.

핵심 발견점은 자기회귀 생성에서 모델이 토큰을 출력하면, 그 토큰이 조건화 맥락의 일부가 된다는 것입니다. "구체적인 내용으로 시작하라" 지시사항이 조기 확정을 유발했고, 이어지는 STAR 추론은 초기 답변을 안내하기보다는 사후 합리화가 되었습니다.

실용적 함의는 프로덕션 AI 시스템을 구축하는 개발자들이 깨끗한 10줄짜리 테스트가 아닌 실제 프롬프트 내에서 추론 프레임워크를 검증해야 한다는 것입니다. 고립된 환경에서 100% 점수를 받는 기법이 상충되는 지시사항이나 프롬프트 구조 때문에 프로덕션에서는 0% 점수를 받을 수 있습니다.