Сравнение производительности Qwen3.5-27B в 8-битном и 16-битном форматах

Пользователь Reddit на r/LocalLLaMA поделился результатами тестирования, сравнивающими производительность Qwen3.5-27B с различными настройками точности.

Настройка теста и результаты

Пользователь протестировал две конфигурации:

• Исходные веса bf16 с 16-битным KV-кэшем
• 8-битная квантизация fp8 от Qwen с 8-битным KV-кэшем

Тесты проводились с использованием vLLM на видеокарте RTX 6000 Pro. В качестве бенчмарка использовался Aider benchmark. Пользователь сообщил о "практически идентичных результатах" между двумя конфигурациями, объясняя небольшие различия случайными погрешностями, поскольку каждая конфигурация была запущена только один раз.

Вывод и рекомендация

На основе результатов тестирования пользователь пришёл к выводу, что "следует использовать fp8 как для весов, так и для кэша". Основное преимущество, которое он отметил, заключается в том, что этот подход "значительно увеличит доступный объём контекста" благодаря снижению использования памяти за счёт меньшей точности.

Такое тестирование квантизации актуально для разработчиков, запускающих большие языковые модели локально, где ограничения памяти часто ограничивают размер окна контекста. Использование форматов с меньшей точностью, таких как fp8, может обеспечить большие окна контекста без значительного снижения производительности, как показывают эти предварительные результаты.