Subquadratic presenta una ventana de contexto de 12 millones de tokens para modelos de IA

Subquadratic ha anunciado una ventana de contexto de 12 millones de tokens, afirmando un avance en mecanismos de atención subcuadráticos. Esto se compara con ventanas típicas de 128K-1M tokens en modelos actuales. La técnica permite que los modelos manejen contextos mucho más grandes sin escalamiento cuadrático de cómputo o memoria.

Detalles clave

• Ventana de contexto: 12 millones de tokens (12 veces más grande que los 128K tokens de GPT-4)
• Basada en atención subcuadrática, probablemente usando complejidad lineal o casi lineal en la longitud de la secuencia
• Permite procesar bases de código completas, documentos largos o transcripciones de video de varias horas en una sola pasada hacia adelante
• Aplicaciones potenciales: revisión de repositorios completos, análisis de documentos largos, diálogo multi-turno con historial completo
• Compatible con LLMs existentes basados en transformadores mediante reemplazo de atención plug-and-play

El enfoque reduce la atención O(n²) a casi O(n) usando técnicas como modelos de espacio de estados o factorizaciones de bajo rango. No se proporcionan números de referencia específicos en la fuente, pero se afirma que esto hace que las ventanas de 12M tokens sean prácticas en una sola GPU.

Para quién es

Ingenieros de IA que trabajan en análisis de código, procesamiento de documentos o cualquier tarea que requiera comprensión de contextos largos sin fragmentación costosa o recuperación.