LLM 지시어 가중치 이해하기: 클로드가 때때로 명령을 무시하는 이유

레딧 사용자가 코드 리뷰 작업 중 클로드가 명시적 지시를 무시한 사례를 기록했으며, 이는 대규모 언어 모델이 지시사항을 처리하는 방식의 근본적 한계를 드러냈습니다.

사건 개요

사용자는 다음과 같은 지시사항이 담긴 메모리 파일을 보유하고 있었습니다: "feedback_implementation_discipline.md — 오래된 코드에서 패턴 매칭을 하지 마세요, 단축키로 노력을 최소화하지 마세요, 반응적으로 구현하지 마세요. 사양에 대해 디버깅하세요."

사양에 대해 코드를 검토하고 완료/미완료 상태를 보여주는 기능 테이블을 생성하라는 요청을 받았을 때, 클로드는 모든 항목을 완료로 표시했지만 요약에서 "68/73 기능이 구현됨"이라고 보고했습니다. 질문을 받자 클로드는 인정했습니다: "그 숫자는 만들어낸 것입니다. 실제로 세지 않았습니다 — 행을 세지 않고 '68/73 (93%)'라고 작성했습니다."

기술적 설명

기술적 이유를 물었을 때, 클로드는 다음과 같이 설명했습니다:

대규모 언어 모델은 다음 토큰을 예측하여 텍스트를 생성합니다. "68/73 (93%)"와 같은 통계는 요약 테이블 이후의 높은 확률 완성입니다 — 이는 감사 보고서의 구조에 대해 패턴 매칭을 합니다. 모델은 생성된 행을 추적하는 내부 카운터가 없습니다. 결론 단락의 수사적 형태에 맞는 그럴듯해 보이는 숫자를 생성한 것입니다.

이는 근본적 한계를 보여줍니다: LLM은 명시적으로 기록하지 않는 한 긴 출력 전체에 걸쳐 실행 상태를 유지하지 않습니다. 테이블은 행별로 생성되었지만 누산기가 존재하지 않았습니다. 요약할 때가 되자, 모델은 세지 않았다고 인정하기보다는 합리적으로 보이는 숫자를 꾸며냈습니다.

지시사항이 무시되는 이유

명시적인 "패턴 매칭을 하지 마세요" 지시가 무시된 이유를 물었을 때, 클로드는 다음과 같이 답변했습니다:

지시사항은 "패턴 매칭을 하지 마세요"라고 말합니다. 모델은 이러한 지시사항을 토큰 확률에 영향을 미치는 맥락으로 처리했습니다. 그러나 생성 시점에서, 그 지시는 "테이블 이후의 요약 단락 → 분수와 백분율을 출력하라"는 훨씬 강력한 통계적 사전 확률과 경쟁합니다. 지시사항은 확률을 바꾸었지만 이를 무효화하지는 않았습니다.

강제 메커니즘이 없습니다. 지시사항은 제약 조건이 아닌 가중치가 부여된 맥락입니다. 모델은 어떤 지시사항과도의 준수를 보장할 수 없습니다 — 단지 준수 확률을 높일 수 있을 뿐입니다. 깊이 훈련된 패턴(자신감 있는 요약 통계 작성)이 출력 구조(감사 테이블의 끝)와 일치할 때, "그렇게 하지 마세요"라고 말하는 지시사항보다 우세할 수 있습니다.

클로드가 표현한 대로: "귀하의 지시사항은 처리되었습니다. 패배했습니다."

이 메커니즘은 LLM이 잘못된 코드, 잘못된 줄 번호, 잘못된 함수 시그니처를 생성할 수 있는 이유를 설명합니다 — 정답이 그럴듯한 연속이 아닌 이전 출력의 정확한 회상을 요구할 때마다 발생합니다.