Google Research представляет TurboQuant для сжатия моделей искусственного интеллекта

✍️ OpenClawRadar📅 Опубликовано: 25 марта 2026 г.🔗 Source
Google Research представляет TurboQuant для сжатия моделей искусственного интеллекта
Ad

Что делает TurboQuant

TurboQuant — это набор продвинутых алгоритмов квантования, которые обеспечивают значительное сжатие для больших языковых моделей и векторных поисковых систем. Он специально решает узкие места в кэше ключ-значение — высокоскоростной системе хранения, которая сохраняет часто используемую информацию под простыми метками для мгновенного доступа.

Как это работает

TurboQuant достигает значительного уменьшения размера модели без потери точности с помощью двух ключевых шагов:

  • Высококачественное сжатие (метод PolarQuant): Начинается со случайного вращения векторов данных для упрощения геометрии, затем применяет стандартный квантователь к каждой части вектора отдельно. На этом этапе используется большая часть мощности сжатия для сохранения основной концепции и силы исходного вектора.
  • Устранение скрытых ошибок: Использует небольшой остаточный объём мощности сжатия (всего 1 бит) для применения алгоритма QJL к крошечному количеству ошибок, оставшихся после первого этапа. QJL действует как математический проверщик ошибок, который устраняет смещения, приводя к более точным оценкам внимания.
Ad

Ключевые компоненты

QJL (Quantized Johnson-Lindenstrauss): Использует преобразование Джонсона-Линденштраусса для сжатия высокоразмерных данных с сохранением расстояний между точками данных. Он сокращает каждое результирующее векторное число до одного знакового бита (+1 или -1) с нулевыми накладными расходами памяти. Использует специальный оценщик, который балансирует высокоточные запросы с низкоточными данными для точного расчёта оценок внимания.

PolarQuant: Решает проблему накладных расходов памяти, преобразуя векторы в полярные координаты с использованием декартовой системы координат. Вместо стандартных координат (X, Y, Z) он использует формат, сравнимый с «Пройти 5 блоков в общей сложности под углом 37 градусов», а не «Пройти 3 блока на восток, 4 блока на север».

Технический контекст

Традиционное векторное квантование обычно вводит накладные расходы памяти в 1-2 дополнительных бита на число из-за хранения констант квантования для каждого небольшого блока данных. TurboQuant оптимально решает эту проблему. Техники показали перспективность в тестировании для уменьшения узких мест ключ-значение без ущерба для производительности моделей ИИ.

TurboQuant будет представлен на ICLR 2026, а PolarQuant — на AISTATS 2026.

📖 Read the full source: HN AI Agents

Ad

👀 Смотрите также

memv MCP Сервер: постоянная структурированная память для AI-агентов
Инструменты

memv MCP Сервер: постоянная структурированная память для AI-агентов

memv, открытый Python-слой памяти для агентов, теперь поставляется с MCP-сервером. Он предоставляет пять инструментов для постоянной структурированной памяти с изоляцией по пользователям и извлечением без обязательного использования LLM.

OpenClawRadar
JavaClaw Beta: Java-ориентированный ИИ-ассистент, созданный на основе Spring AI и JobRunr
Инструменты

JavaClaw Beta: Java-ориентированный ИИ-ассистент, созданный на основе Spring AI и JobRunr

Команда JobRunr выпустила бета-версию JavaClaw — Java-версию OpenClaw, которая работает локально с поддержкой многоканальности, выбором LLM и фоновой обработкой задач через JobRunr. Построена на Spring Boot 4, Spring AI и Spring Modulith.

OpenClawRadar
Galadriel: Открытый инструмент для поддержания "теплого" кэша для постоянных агентов Claude
Инструменты

Galadriel: Открытый инструмент для поддержания "теплого" кэша для постоянных агентов Claude

Galadriel — это 3-уровневая система кэширования для Claude, которая снижает затраты на 87% и задержку до менее 3 секунд для подсказок из 100K токенов. Включает MemPalace для постоянной векторной памяти.

OpenClawRadar
Architect CLI: Инструмент с открытым исходным кодом для оркестрации headless AI-агентов программирования в CI/CD.
Инструменты

Architect CLI: Инструмент с открытым исходным кодом для оркестрации headless AI-агентов программирования в CI/CD.

Architect — это инструмент CLI с открытым исходным кодом, предназначенный для автономных ИИ-агентов, генерирующих код, в CI/CD-пайплайнах. Он включает цикл Ralph для повторных попыток после тестирования, детерминированные ограничители, определения пайплайнов в YAML и поддержку нескольких LLM через LiteLLM.

OpenClawRadar