Modelo Subquadratic estreia janela de contexto de 12 milhões de tokens para modelos de IA

A Subquadratic anunciou uma janela de contexto de 12 milhões de tokens, afirmando um avanço nos mecanismos de atenção subquadrática. Isso se compara às janelas típicas de 128K-1M tokens em modelos atuais. A técnica permite que os modelos lidem com contextos vastamente maiores sem o escalonamento quadrático de computação ou memória.

Detalhes Principais

• Janela de contexto: 12 milhões de tokens (12x maior que os 128K tokens do GPT-4)
• Baseada em atenção subquadrática, provavelmente usando complexidade linear ou quase linear no comprimento da sequência
• Permite processar codebases grandes inteiras, documentos longos ou transcrições de vídeos de várias horas em uma única passagem direta
• Aplicações potenciais: revisão de código de repositórios inteiros, análise de documentos longos, diálogo de múltiplas voltas com histórico completo
• Compatível com LLMs existentes baseados em transformadores via substituição de atenção plug-and-play

A abordagem reduz a atenção O(n²) para quase O(n) usando técnicas como modelos de espaço de estados ou fatorações de baixo posto. Nenhum número de benchmark específico é fornecido na fonte, mas a alegação é que isso torna as janelas de 12M tokens práticas em uma única GPU.

Para Quem é

Engenheiros de IA que trabalham com análise de código, processamento de documentos ou qualquer tarefa que exija compreensão de contexto longo sem chunking ou recuperação caros.