Subquadratic lance une fenêtre de contexte de 12 millions de tokens pour les modèles d'IA

Subquadratic a annoncé une fenêtre de contexte de 12 millions de tokens, revendiquant une percée dans les mécanismes d'attention subquadratiques. Cela se compare aux fenêtres typiques de 128K à 1M de tokens dans les modèles actuels. La technique permet aux modèles de traiter des contextes beaucoup plus volumineux sans mise à l'échelle quadratique du calcul ou de la mémoire.
Détails clés
- Fenêtre de contexte : 12 millions de tokens (12 fois plus grande que les 128K tokens de GPT-4)
- Basé sur une attention subquadratique, utilisant probablement une complexité linéaire ou quasi-linéaire en fonction de la longueur de la séquence
- Permet de traiter des codebases entières, de longs documents ou des transcriptions vidéo de plusieurs heures en un seul passage avant
- Applications potentielles : revue de code de dépôts entiers, analyse de documents longs, dialogues multi-tours avec historique complet
- Compatible avec les LLM existants basés sur les transformeurs via un remplacement d'attention plug-and-play
L'approche réduit l'attention O(n²) à quasi-O(n) grâce à des techniques comme les modèles d'espace d'état ou les factorisations de bas rang. Aucun chiffre de référence spécifique n'est fourni dans la source, mais l'affirmation est que cela rend les fenêtres de 12M de tokens pratiques sur un seul GPU.
À qui cela s'adresse
Ingénieurs IA travaillant sur l'analyse de code, le traitement de documents ou toute tâche nécessitant une compréhension en long contexte sans découpage coûteux ou recherche d'information.
📖 Read the full source: HN AI Agents
👀 See Also

Tokenmaxxing est le nouveau chronomètre : pourquoi votre politique en matière d'IA doit être cohérente
Brian Meeker s'oppose aux métriques de vanité comme le « tokenmaxxing » et partage la politique en quatre points de son équipe concernant l'IA : pas d'obligation, comprendre le code généré, survivre sans outils d'IA, se soucier des collègues et des clients.
Parameter Golf : L'expérience de recherche en ML assistée par IA d'OpenAI
OpenAI a organisé le Parameter Golf, un concours avec plus de 1 000 participants et plus de 2 000 soumissions, testant l'apprentissage automatique assisté par IA, les agents de codage, la quantification et la conception de modèles innovants sous des contraintes strictes.

Anthropic restreint l'utilisation des abonnements Claude sur des outils tiers comme OpenClaw.
Anthropic modifie sa politique d'abonnement à Claude pour bloquer l'utilisation sur des interfaces tierces, y compris OpenClaw, exigeant une facturation séparée au paiement à l'utilisation pour ces outils à partir du 4 avril. L'entreprise propose un crédit unique équivalent au prix de l'abonnement mensuel et des remises allant jusqu'à 30 % pour les achats anticipés.

OpenClaw : une utilisation concrète dans les PME — article offert partagé depuis Reddit
Un article du New York Times Magazine présente des utilisateurs d'OpenClaw interrogés sur leurs cas d'usage professionnels, initialement publié sur r/openclaw. Lien cadeau inclus.