버클리 연구: 모든 AI 수정 프롬프트는 산문을 형식 쪽으로 표류시킨다, 심지어 "목소리 유지"까지도

버클리 대학의 Tom van Nuenen은 세 가지 프론티어 모델(Claude-class, ChatGPT-class, Gemini-class)을 통해 300개의 개인 서사를 세 가지 프롬프트 조건(일반적인 '개선하기', 일반적인 '다시 쓰기', 명시적인 '원래 목소리를 유지하면서 수정하기')으로 처리했습니다. 그는 입력과 출력에서 13가지 문체적 지표(기능어, 축약형, 1인칭 대명사, 어휘 다양성, 문장 길이 분산, 구두법 패턴, 감정 단어)를 측정했습니다.

결과: 모든 모델과 모든 조건에서 표류 방향이 동일했습니다. 출력물은 축약형이 줄고, 1인칭 대명사가 감소하며, 어휘 분포가 넓어지고, 단어 길이가 길어지며, 구두법이 더 정교해졌습니다. 이러한 변화는 산문을 내재된 서사에서 거리를 둔 서사로 이동시켰습니다. '목소리 유지' 프롬프트는 표류의 크기만 줄였을 뿐 방향은 바꾸지 못했습니다.

쉽게 말해: 모든 AI 수정 프롬프트는 산문을 더 정중하고, 더 형식적이며, 더 만족시키려는 경향으로 만듭니다. 프롬프트가 '하지 마라'고 해도 마찬가지입니다.

도구 개발에 대한 시사점

논문은 목소리 지시사항이 모델의 사후 학습 분포가 한두 문단 내에 덮어쓰는 계층에 존재한다고 주장합니다. 목소리 있는 출력(글쓰기, 대화, 마케팅 카피, 설득 에세이)을 위해 프롬프트 반복, 샘플 붙여넣기, 사용자 정의 지침, 캐릭터 바이블 등을 작업하는 사람은 구조적 한계가 있는 문제를 다루고 있었던 것입니다.

또한 이 논문은 Claude 4.7의 산문 회귀에 대한 가장 명확한 경험적 설명을 제공합니다: 4.7의 중심 목소리는 4.6보다 더 깊게 인코딩되어 있어, 문체적 구조를 더 잘 읽고(Piper 실험에서 나타난 대로) 이탈을 더 강하게 저항합니다(메모 목소리 불만).

제약 기반 아키텍처

저자의 권장 사항: 장문 작업에서 목소리를 보존하려면 아키텍처가 프롬프트 외부에 있어야 합니다. 컴파일된 스타일 프로필은 모든 생성에 대해 바인딩 제약 조건으로 적용되어야 하며, 무시될 수 있는 프롬프트 매개변수로 사용되어서는 안 됩니다. 각 주요 글쓰기 도구(Sudowrite, NovelCrafter, Claude/ChatGPT 직접 사용)가 동일한 한계에 부딪히는 이유와 제약 기반 아키텍처가 실제로 어떻게 생겼는지에 대한 설명은 아래 링크된 블로그 게시물에서 확인할 수 있습니다.

논문: https://arxiv.org/abs/2604.22142