Opus 4.7 토큰 효율성: 독일어 프롬프트가 영어 대비 최대 2배의 토큰 소모

Claude의 토크나이저는 알려진 언어 편향이 있으며, 최근 r/ClaudeAI 게시물은 Opus 4.7 모델에서 비영어권 언어를 사용할 때의 실제 영향을 보여줍니다.

문제점

Pro 구독자가 주식 분석 프롬프트(The Trade Desk, Coreweave, Cloudflare 예측)를 먼저 영어로, 그다음 독일어로 실행했습니다. 결과:

• 영어 (Opus 4.7 Extended): 세션 토큰의 37% 소모
• 영어 (Opus 4.6): 33%
• 영어 (Sonnet): 약 28%
• 독일어 (Opus 4.7): 몇 초 만에 100%

동일한 모델의 동일한 프롬프트를 독일어로 사용했을 때 세션 제한이 거의 즉시 소진되었습니다.

원인

Claude는 텍스트를 토큰화합니다. 영어는 단어 0.75개당 약 1토큰인 반면, 독일어는 단어 0.5개당 약 1토큰이며 경우에 따라 더 심각합니다. Aktienmarktanalyse 같은 복합 명사는 stock market analysis보다 더 많은 토큰으로 분할되며, 움라우트와 낮은 학습 데이터 범위로 인해 토큰 수가 증가합니다. 동일한 의미 콘텐츠의 경우 독일어 프롬프트와 응답은 영어보다 1.5배에서 2배 더 많은 토큰을 소모할 수 있습니다.

해결 방법

모델 자체가 두 가지 완화 방법을 제안합니다:

• 독일어로 프롬프트를 입력하되 응답은 영어로 요청 — 예를 들어 스프레드시트 레이블은 영어로 유지하면서 대화는 독일어로 진행
• 모델에게 간결하게 응답하도록 요청하여 출력 토큰 수를 줄임

Anthropic은 다국어 토큰 비용 문제를 인지하고 있지만, 이는 토크나이저의 구조적 속성으로 클라이언트 측에서 패치할 수 있는 문제가 아닙니다.

결론

영어 이외의 언어로 Claude를 사용하면서 세션 제한에 자주 도달한다면 이것이 그 이유일 가능성이 높습니다. 작업량이 많은 워크플로(도구 호출, 웹 검색, 긴 출력)의 경우 출력 언어를 영어로 전환하여 토큰을 절약하는 것이 좋습니다.