Google Research представляет TurboQuant для сжатия моделей искусственного интеллекта

Что делает TurboQuant

TurboQuant — это набор продвинутых алгоритмов квантования, которые обеспечивают значительное сжатие для больших языковых моделей и векторных поисковых систем. Он специально решает узкие места в кэше ключ-значение — высокоскоростной системе хранения, которая сохраняет часто используемую информацию под простыми метками для мгновенного доступа.

Как это работает

TurboQuant достигает значительного уменьшения размера модели без потери точности с помощью двух ключевых шагов:

• Высококачественное сжатие (метод PolarQuant): Начинается со случайного вращения векторов данных для упрощения геометрии, затем применяет стандартный квантователь к каждой части вектора отдельно. На этом этапе используется большая часть мощности сжатия для сохранения основной концепции и силы исходного вектора.
• Устранение скрытых ошибок: Использует небольшой остаточный объём мощности сжатия (всего 1 бит) для применения алгоритма QJL к крошечному количеству ошибок, оставшихся после первого этапа. QJL действует как математический проверщик ошибок, который устраняет смещения, приводя к более точным оценкам внимания.

Ключевые компоненты

QJL (Quantized Johnson-Lindenstrauss): Использует преобразование Джонсона-Линденштраусса для сжатия высокоразмерных данных с сохранением расстояний между точками данных. Он сокращает каждое результирующее векторное число до одного знакового бита (+1 или -1) с нулевыми накладными расходами памяти. Использует специальный оценщик, который балансирует высокоточные запросы с низкоточными данными для точного расчёта оценок внимания.

PolarQuant: Решает проблему накладных расходов памяти, преобразуя векторы в полярные координаты с использованием декартовой системы координат. Вместо стандартных координат (X, Y, Z) он использует формат, сравнимый с «Пройти 5 блоков в общей сложности под углом 37 градусов», а не «Пройти 3 блока на восток, 4 блока на север».

Технический контекст

Традиционное векторное квантование обычно вводит накладные расходы памяти в 1-2 дополнительных бита на число из-за хранения констант квантования для каждого небольшого блока данных. TurboQuant оптимально решает эту проблему. Техники показали перспективность в тестировании для уменьшения узких мест ключ-значение без ущерба для производительности моделей ИИ.

TurboQuant будет представлен на ICLR 2026, а PolarQuant — на AISTATS 2026.