Subquadratic представляет 12-миллионное окно контекста для ИИ-моделей

Subquadratic объявила об окне контекста на 12 миллионов токенов, заявляя о прорыве в механизмах субквадратичного внимания. Это по сравнению с типичными окнами в 128K–1M токенов в современных моделях. Техника позволяет моделям обрабатывать гораздо большие контексты без квадратичного роста вычислительной сложности или памяти.

Ключевые детали

• Окно контекста: 12 миллионов токенов (в 12 раз больше, чем 128K токенов GPT-4)
• Основано на субквадратичном внимании, вероятно, с линейной или почти линейной сложностью от длины последовательности
• Позволяет обрабатывать целые большие кодовые базы, длинные документы или многолетние стенограммы видео за один проход
• Потенциальные применения: ревью кода в репозиториях, анализ длинных документов, многоходовые диалоги с полной историей
• Совместимо с существующими LLM на основе трансформеров через замену слоя внимания

Подход снижает сложность O(n²) до почти O(n) с использованием методов вроде моделей пространства состояний или низкоранговых факторизаций. Конкретные показатели бенчмарков в источнике не приводятся, но утверждается, что это делает окна на 12M токенов практичными на одной GPU.

Для кого это

Инженеров по ИИ, работающих над анализом кода, обработкой документов или любыми задачами, требующими понимания длительного контекста без дорогостоящего разбиения на части или поиска.