SubQ : Un LLM sous-quadratique avec une fenêtre de contexte de 12 millions de tokens

SubQ de Subquadratic est un LLM prêt pour la production, construit sur une architecture d'attention creuse entièrement sous-quadratique. Il gère jusqu'à 12 millions de tokens dans une seule invite, fonctionne à 150 tokens par seconde et coûte environ 1/5 des modèles leaders comme GPT-5 ou Opus.

Architecture et benchmarks

Contrairement aux transformeurs standards avec une attention en O(n²), SubQ utilise un mécanisme d'attention creuse sous-quadratique qui ne traite que les relations de tokens pertinentes. À 12 millions de tokens, cela réduit le calcul de l'attention de près de 1000×. Benchmarks (validés par des tiers) :

• SWE-Bench Verified (codage réel) : 81,8%
• RULER @ 128K (précision en contexte long) : 95,0%
• MRCR v2 (8-aiguilles, 1M) : 65,9%

À titre de comparaison, le score SWE-Bench de SubQ se situe entre Gemini 3.1 Pro (80,6%) et Opus 4.6 (80,8%). Le modèle surpasse également Opus 4.7 (87,6% ? – non rapporté à l'époque) et GPT-5.5 (n/r) sur MRCR v2.

Produits et intégration

Deux options d'accès :

• API Full-Context : Contexte de 12M tokens, streaming, utilisation d'outils, endpoints compatibles OpenAI. Traitez des dépôts entiers en un seul appel à un coût linéaire.
• SubQ Code (couche de contexte long pour agents de codage) : Branchez-le sur Claude Code, Codex ou Cursor. Facture réduite d'environ 25%, exploration 10× plus rapide, redirige automatiquement les tours de modèles coûteux. Installation en une ligne.

À qui s'adresse-t-il

Développeurs et équipes qui exécutent des agents IA devant raisonner sur l'ensemble des bases de code, de longs historiques de PR ou un état persistant sans perte de qualité.