Сравнительный обзор быстрого вывода LLM от Anthropic и OpenAI

Антропик и OpenAI недавно представили функции 'быстрого режима', чтобы повысить скорость вывода своих языковых моделей. Эти режимы предлагают значительно улучшенные показатели токенов в секунду при взаимодействии с их кодирующими моделями, но сильно различаются по подходу и возможностям.

Ключевые детали

Быстрый режим Антропика обеспечивает до 2,5 раз больше токенов в секунду, с увеличением с 65 токенов Opus 4.6 до около 170. Это улучшение достигается за счет приоритета вывода с малым размером пакета. Однако необходимо учитывать, что это требует больших затрат (в шесть раз больше) для более быстрых ответов, так как уменьшенный размер пакета позволяет быстрее обрабатывать данные, подобно автобусной системе, которая уходит немедленно, не дожидаясь заполнения, хотя этот режим все же работает на самой модели Opus 4.6.

С другой стороны, OpenAI демонстрирует заметно другой подход, достигая более 1000 токенов в секунду, что в 15 раз превышает предыдущую скорость базовой модели GPT-5.3-Codex в 65 токенов в секунду. Это достигается с помощью их новой модели GPT-5.3-Codex-Spark, которая специально разработана для скорости с использованием чипов Cerebras. Эти чипы, отличающиеся крупным размером (70 квадратных дюймов по сравнению с одним квадратным дюймом типичного H100), обеспечивают вычисления с очень низкой задержкой, помещая целые модели в свою значительную внутреннюю память.

Хотя система OpenAI предлагает значительное преимущество в скорости функционирования полностью в памяти с минимальными задержками потоковой передачи данных, это происходит с компромиссом по возможности модели. GPT-5.3-Codex-Spark, несмотря на свою скорость, менее способна, чем ее стандартный аналог, особенно когда речь идет о выполнении более сложных задач или вызовах инструментов.

Для кого это

Это сравнение особенно актуально для разработчиков, оптимизирующих производительность AI-систем, и оценивает ключевые аспекты для тех, кто рассматривает скорость против возможностей.