Subquadratic stellt 12 Millionen Token Kontextfenster für KI-Modelle vor

Subquadratic hat ein 12-Millionen-Token-Kontextfenster angekündigt und behauptet einen Durchbruch bei subquadratischen Aufmerksamkeitsmechanismen. Dies steht im Vergleich zu typischen 128K-1M-Token-Fenstern aktueller Modelle. Die Technik ermöglicht es Modellen, weitaus größere Kontexte ohne quadratische Skalierung von Rechenleistung oder Speicher zu verarbeiten.

Wichtige Details

• Kontextfenster: 12 Millionen Token (12x größer als GPT-4s 128K Token)
• Basiert auf subquadratischer Attention, wahrscheinlich mit linearer oder nahezu linearer Komplexität in der Sequenzlänge
• Ermöglicht die Verarbeitung gesamter großer Codebasen, langer Dokumente oder mehrstündiger Videotranskripte in einem einzigen Durchlauf
• Potenzielle Anwendungen: Code-Review ganzer Repos, Langdokument-Analyse, mehrschrittige Dialoge mit vollständigem Verlauf
• Kompatibel mit bestehenden transformerbasierten LLMs durch Drop-in-Attention-Austausch

Der Ansatz reduziert O(n²) Attention auf nahezu O(n) mithilfe von Techniken wie State-Space-Modellen oder Low-Rank-Faktorisierungen. In der Quelle werden keine spezifischen Benchmark-Zahlen genannt, aber die Behauptung lautet, dass dies 12M-Token-Fenster auf einer einzelnen GPU praktikabel macht.

Für wen es gedacht ist

KI-Ingenieure, die an Code-Analyse, Dokumentenverarbeitung oder Aufgaben arbeiten, die ein langes Kontextverständnis ohne teures Chunking oder Retrieval erfordern.