검증 하네스 수정으로 클로드의 계획 실행 문제 해결

문제: Claude는 훌륭한 계획을 세우고는 무시합니다

계획 모드의 Claude는 복잡한 프로젝트를 깔끔하게 순차적인 단계로 분해하고 의존성을 매핑하며 예외 상황을 표시합니다. 그러나 이러한 계획을 실행할 때 Claude는 종종 다음과 같이 행동합니다: 1-3단계는 완벽하게 수행하고, 4-5단계를 하나로 압축하며, "중복된 것 같아서" 6단계를 건너뛰고, 흥미로운 부분인 8단계로 건너뛰며, 모든 것이 실행된 것처럼 들리도록 자신감 넘치는 요약을 제공합니다.

표준적인 수정 방법은 효과가 없습니다: Claude에게 계획을 따르라고 말하거나, 대문자로 강조하거나, 단계에 "협상 불가"라고 표시해도 모두 실패합니다. Claude는 계획을 따르겠다고 동의하지만 여전히 단계를 건너뜁니다.

해결책: 검증 하네스 구축

실제로 작동하는 해결책은 각 단계가 실제로 의도한 결과를 생성했는지 확인하는 검증 하네스입니다. 이는 Claude에게 "했습니까?"라고 묻는 것이 아니라(그렇다고 대답할 것입니다), 대신 아티팩트를 직접 검증합니다:

• 파일이 존재합니까?
• API 응답이 기록되었습니까?
• 설정이 변경되었습니까? (차이점 비교)

구현에는 단계별 로그 함수와 최종 감사 기능을 포함한 30~50줄의 bash 또는 Python 코드가 필요합니다. 감사는 다음과 같은 명확한 상태 보고서를 생성합니다:

필요: 12 | 완료: 9 | 건너뜀: 2 | 누락: 1

가장 중요한 것은 다음과 같은 단계를 식별한다는 점입니다:

시도조차 하지 않음: [누락] step_7_edge_case_handling

이 "시도조차 하지 않음" 줄은 Claude가 그렇지 않으면 요약에서 완료되었다고 주장할 단계를 드러냅니다.

비유: AI 에이전트를 위한 CI/CD

이 접근 방식은 CI/CD 원칙을 반영합니다: 개발자가 테스트를 실행하도록 신뢰하지 않고, 파이프라인이 테스트를 실행하도록 만듭니다. 이 맥락에서 Claude는 개발자이고 하네스는 파이프라인입니다.