Вывод LLM: методы для эффективного рубежа

Baseten разбивает инженерию вывода LLM на две категории: методы, которые перемещают развертывание вдоль эффективной границы задержки и пропускной способности, и методы, которые расширяют всю границу. Это различие важно, когда вы решаете, настраивать ли параметры или применять новый подход.

Методы управления компромиссами

Они позволяют выбрать конкретную точку на границе — например, в пользу задержки для интерактивных пользователей или пропускной способности для пакетных нагрузок. Граница неровная, поэтому ожидайте эмпирического определения точек отсечения.

• Размер пакета – количество одновременных запросов. Малые пакеты обеспечивают отличную задержку для каждого пользователя, но высокую стоимость за токен. Большие пакеты повышают пропускную способность и снижают стоимость за счет задержки.
• Стратегия параллелизма – как модель разделена между GPU. Увеличение тензорного параллелизма (TP) снижает задержку за счет быстрой связи NVLink "все ко всем". Параллелизм экспертов (EP) можно настраивать: меньшее значение EP — для лучшей задержки, широкое EP (в пределах стойки) — для пропускной способности. Внимательный параллелизм данных (ADP) реплицирует слои внимания для повышения пропускной способности системы за счет скорости отдельных запросов.
• Квантование – работа с более низкой точностью (веса, активации, KV-кэш) улучшает задержку и пропускную способность. Это вносит компромисс между качеством и эффективностью, который может быть неравномерным — некоторые уровни квантования дают значительный выигрыш в обслуживании при малой потере качества.

Методы, расширяющие границу

Они создают больше возможностей для распределения по вашему усмотрению. Baseten приводит примеры, такие как использование более совершенного оборудования или алгоритмически более эффективных механизмов внимания.

Статья предполагает, что вы используете модель типа GLM-5.3 или Kimi K3 для агентного написания кода, с повторным использованием KV-кэша и маршрутизацией с учетом KV.

Для более глубокого изучения того, какие методы относятся к каждой категории и как измерять компромиссы, прочитайте полный пост.