Эффективность токенов Opus 4.7: немецкие промпты расходуют до 2 раз больше токенов по сравнению с английскими

Токенизатор Claude имеет известный языковой перекос, и недавний пост на r/ClaudeAI демонстрирует реальное влияние использования неанглийских языков с моделью Opus 4.7.

Проблема

Подписчик Pro запустил один и тот же промпт для анализа акций (прогноз по The Trade Desk, Coreweave, Cloudflare) сначала на английском, затем на немецком. Результаты:

• Английский (Opus 4.7 Extended): израсходовано 37% токенов сессии
• Английский (Opus 4.6): 33%
• Английский (Sonnet): ~28%
• Немецкий (Opus 4.7): 100% за секунды

Тот же промпт на немецком языке с той же моделью исчерпал весь лимит сессии практически мгновенно.

Почему это происходит

Claude токенизирует текст. В английском в среднем ~1 токен на 0,75 слова; в немецком ~1 токен на 0,5 слова — иногда хуже. Сложные существительные вроде Aktienmarktanalyse разбиваются на большее количество токенов, чем stock market analysis, а умлауты и меньшее покрытие в тренировочных данных увеличивают число токенов. Для эквивалентного смыслового содержания немецкий промпт + ответ могут потреблять в 1,5–2 раза больше токенов, чем английский.

Обходные пути

Сама модель предлагает два решения:

• Запрашивать на немецком, но просить ответ на английском — например, подписи в таблицах остаются на английском, а диалог ведется на немецком
• Просить модель быть лаконичнее, чтобы уменьшить количество токенов в выводе

Anthropic знает о проблеме многоязычной стоимости токенов, но это структурное свойство токенизатора — его нельзя исправить на стороне клиента.

Вывод

Если вы используете Claude на языке, отличном от английского, и сталкиваетесь с лимитами сессии, скорее всего, причина в этом. Для интенсивных рабочих нагрузок (вызовы инструментов, поиск в Интернете, длинные выводы) рекомендуется переключаться на английский для вывода, чтобы экономить токены.