Счетчик токенов Claude обновлен функцией сравнения моделей

Обновление инструмента: Добавлено сравнение моделей

Simon Willison обновил свой инструмент подсчёта токенов Claude, добавив возможность запускать один и тот же подсчёт для разных моделей для сравнения. Инструмент принимает любой идентификатор модели Claude, с вариантами для четырёх заметных текущих моделей: Opus 4.7 и 4.6, Sonnet 4.6 и Haiku 4.5.

Ключевые выводы об изменениях токенизатора

Согласно анонсу Anthropic о модели Opus 4.7, она использует обновлённый токенизатор, который улучшает обработку текста, но приводит к тому, что одни и те же входные данные преобразуются в большее количество токенов — примерно в 1.0–1.35 раз в зависимости от типа контента.

Конкретные результаты тестов:

• При вставке системного промпта Opus 4.7 в инструмент подсчёта токенов, Opus 4.7 использовал в 1.46 раз больше токенов, чем Opus 4.6
• Opus 4.7 сохраняет те же цены, что и Opus 4.6 (5 долларов за миллион входных токенов, 25 долларов за миллион выходных токенов), но инфляция токенов означает, что он может быть примерно на 40% дороже
• Claude Opus 4.7 — первая модель, изменившая токенизатор, что делает сравнения в основном актуальными между версиями 4.7 и 4.6

Результаты подсчёта токенов для изображений

Инструмент подсчёта токенов также принимает изображения. У Opus 4.7 улучшена поддержка изображений: он принимает изображения до 2576 пикселей по длинной стороне (~3.75 мегапикселя), что более чем в три раза больше, чем у предыдущих моделей Claude.

Результаты тестов с изображениями:

• Для PNG размером 3456×2234 пикселей и объёмом 3.7 МБ Opus 4.7 показал в 3.01 раз больше токенов по сравнению с версией 4.6
• Обновление: это увеличение в 3 раза полностью связано с тем, что Opus 4.7 обрабатывает более высокие разрешения. Изображение размером 682×318 пикселей заняло 314 токенов в Opus 4.7 и 310 в Opus 4.6 — по сути, та же стоимость

Сравнение обработки PDF

Для текстоёмкого PDF-файла объёмом 15 МБ и на 30 страниц:

• Opus 4.7 показал 60 934 токена
• Opus 4.6 показал 56 482 токена
• Это представляет собой множитель в 1.08 раза, что значительно ниже множителя для чистого текста

Этот инструмент полезен для разработчиков, которым необходимо оценивать затраты и понимать различия в использовании токенов между версиями моделей Claude, особенно при планировании миграций или сравнении эффективности обработки.