Opus 4.7, 프롬프트의 40%를 망가뜨렸다; 해결책은 CLAUDE.md와 스킬의 구조화였다

4월에 Opus 4.7이 출시되면서 중간 규모 회사 6곳의 설정에서 약 40%의 프롬프트가 하룻밤 사이에 깨졌습니다. 토큰 소모가 증가하고 출력이 이상하게 문자 그대로 해석되었습니다. 4.6은 모호한 지침을 적절히 채워넣었지만 4.7은 그렇지 않았습니다. 해결책은 프롬프트를 다시 작성하는 것이 아니라 마침내 CLAUDE.md와 Skill 파일을 진지하게 받아들이는 것이었습니다.

무엇이 왜 깨졌는가

4.6용으로 작성된 프롬프트는 모델이 모호한 지침을 관대하게 해석할 것이라고 가정했습니다. 4.7은 이를 문자 그대로 해석하여 출력을 수정하는 데 3-4회의 반복이 필요했습니다. 살아남은 프롬프트는 명시적인 출력 형식, 길이 제한, 작업 예제가 포함된 Skill 파일에 통합된 것들이었습니다.

재구축 접근법

6개 설정에서 세 가지 구조적 변경이 이루어졌습니다:

• Skill이 독립 프롬프트를 대체 — 3회 이상 수행된 작업은 대상, 출력 형식, 길이, 2-3문장의 작업 예제가 포함된 Skill 파일(50-200줄)로 전환되었습니다. Skill은 필요 시 로드되어 컨텍스트를 부풀리지 않습니다.
• 계층적 CLAUDE.md — 사용자 신원, 비즈니스, 음성 규칙을 위한 하나의 전역 파일; 각 계약별 프로젝트 수준 CLAUDE.md; 일회성 작업을 위한 세션 수준 지침. 모델은 순서대로 읽고 세션 간에도 유지되는 정신 모델을 구축합니다.
• 메모리 파일 분리 — CLAUDE.md를 400줄 미만으로 유지; 상세한 조직 지식은 CLAUDE.md가 참조하는 별도 파일에 저장되며 필요 시 로드됩니다.
• 긴 Skill의 검증 단계 — 모델이 출력을 생성한 후 5-7개 항목의 체크리스트와 비교하여 수정. 호출당 30초가 추가되지만 후처리 작업을 약 70% 줄였습니다.

3주 후 결과

• 프롬프트에서 허용 가능한 출력까지 평균 횟수가 3-4회에서 1-2회로 감소.
• 작업 공간 전체에서 토큰 사용량이 22% 감소.
• "이 출력이 이상하니 다시 시도" 비율이 프롬프트 4회당 1회에서 15회당 1회로 감소.
• 다음 모델 릴리스는 이제 부정적이기보다 긍정적일 것으로 예상.

아직 해결되지 않은 문제: CLAUDE.md 버전 관리

프로젝트 수준 파일은 git에 있지만 전역 CLAUDE.md는 채팅 기록에 있어 취약합니다. 아직 롤백 메커니즘이 없습니다.

정신 모델

모델은 엔진입니다. Skills + CLAUDE.md + 메모리는 자동차입니다. 자동차를 한 번 만들면 각각의 새 엔진이 더 빠르게 만듭니다.