Subquadratic、AIモデル向け1200万トークンコンテキストウィンドウを発表

Subquadraticは1200万トークンのコンテキストウィンドウを発表し、二次関数的注意メカニズムのブレークスルーを主張しています。これは、現在のモデルの標準的な128K〜100万トークンのウィンドウと比較されます。この技術により、モデルは計算やメモリの二次関数的なスケーリングなしに、はるかに大きなコンテキストを処理できます。

主要な詳細

• コンテキストウィンドウ: 1200万トークン（GPT-4の12万8000トークンの12倍）
• 二次関数的注意に基づき、シーケンス長に対して線形またはそれに近い複雑性を実現
• 大規模なコードベース全体、長文書、数時間の動画のトランスクリプトを単一のフォワードパスで処理可能
• 応用可能性: リポジトリ全体のコードレビュー、長文書分析、全履歴を含むマルチターン対話
• ドロップインの注意機構置き換えにより、既存のトランスフォーマーベースLLMと互換性あり

このアプローチは、状態空間モデルや低ランク因数分解などの技術を用いて、O(n²)の注意をほぼO(n)に削減します。ソースには具体的なベンチマーク数値は示されていませんが、この手法により1200万トークンのウィンドウが単一GPUで実用的になると主張しています。

対象者

コード分析、文書処理、または高価なチャンキングや検索なしで長いコンテキストの理解が必要なタスクに取り組むAIエンジニア。