클로드 시스템 프롬프트 준수도가 긴 대화에서 저하됩니다

레딧 사용자는 클로드의 시스템 프롬프트 준수가 긴 대화에서 현저히 저하된다고 보고하며, 특히 특정 포맷팅 규칙과 제약 조건을 가진 AI 코딩 에이전트에 영향을 미친다고 합니다.

문제 세부사항

사용자는 내부 도구용으로 여러 클로드 기반 에이전트를 운영하며, 각 에이전트는 출력 형식, 피해야 할 주제, 에지 케이스 처리에 대한 특정 규칙을 포함한 시스템 프롬프트를 가지고 있습니다. 처음 20-30회의 교환에서는 완벽하게 작동하지만, 메시지 40-50개 즈음에 준수가 서서히 떨어지기 시작합니다.

관찰된 구체적인 문제:

• 에이전트가 포맷팅 규칙을 따르지 않음
• 시스템 프롬프트가 명시적으로 금지한 방식으로 "도움이 되려고" 함
• 시작할 때 분명했던 제약 조건을 잊어버림

사용자는 이것이 버그가 아니라 압력을 받는 컨텍스트 창의 작동 방식이며, 시스템 프롬프트가 40개 이상의 대화 기록과 주의 가중치를 놓고 경쟁하기 때문이라고 언급합니다.

해결 방법과 대안

사용자는 효과가 있었던 몇 가지 실용적인 접근법을 공유합니다:

• 중요 규칙 재진술: 15-20개의 메시지마다, 잃어서는 안 될 상위 3개 규칙을 압축된 형태로 재진술하세요 (전체 시스템 프롬프트가 아님)
• 대화를 짧게 유지: 작업에 30회 이상의 교환이 필요하다면, 발생한 내용을 요약하여 새 세션을 시작하세요
• 전략적 프롬프트 배치: 가장 중요한 제약 조건을 시스템 프롬프트의 시작과 끝 모두에 배치하세요. 모델이 두 위치에 더 많은 주의를 기울이기 때문입니다
• 대규모 테스트: 행복 경로 데모만으로는 이 문제를 드러내지 못하므로, 메시지 5개뿐 아니라 메시지 50개에서 에이전트를 테스트하세요

사용자는 이 문제가 충분히 논의되지 않고 있다고 강조하며, 장기 실행 세션에서 지시 준수를 유지하기 위한 신뢰할 수 있는 패턴을 다른 사람들과 공유할 것을 초대합니다.