Subquadratic lance une fenêtre de contexte de 12 millions de tokens pour les modèles d'IA

Subquadratic a annoncé une fenêtre de contexte de 12 millions de tokens, revendiquant une percée dans les mécanismes d'attention subquadratiques. Cela se compare aux fenêtres typiques de 128K à 1M de tokens dans les modèles actuels. La technique permet aux modèles de traiter des contextes beaucoup plus volumineux sans mise à l'échelle quadratique du calcul ou de la mémoire.

Détails clés

• Fenêtre de contexte : 12 millions de tokens (12 fois plus grande que les 128K tokens de GPT-4)
• Basé sur une attention subquadratique, utilisant probablement une complexité linéaire ou quasi-linéaire en fonction de la longueur de la séquence
• Permet de traiter des codebases entières, de longs documents ou des transcriptions vidéo de plusieurs heures en un seul passage avant
• Applications potentielles : revue de code de dépôts entiers, analyse de documents longs, dialogues multi-tours avec historique complet
• Compatible avec les LLM existants basés sur les transformeurs via un remplacement d'attention plug-and-play

L'approche réduit l'attention O(n²) à quasi-O(n) grâce à des techniques comme les modèles d'espace d'état ou les factorisations de bas rang. Aucun chiffre de référence spécifique n'est fourni dans la source, mais l'affirmation est que cela rend les fenêtres de 12M de tokens pratiques sur un seul GPU.

À qui cela s'adresse

Ingénieurs IA travaillant sur l'analyse de code, le traitement de documents ou toute tâche nécessitant une compréhension en long contexte sans découpage coûteux ou recherche d'information.