SubQ: 準二次LLM、1200万トークンコンテキスト達成

Subquadraticは、完全にサブクアドラティックな大規模言語モデルであるSubQ 1M-Previewをリリースしました。このモデルでは、計算量がコンテキスト長に対して線形にスケーリングし、トランスフォーマーのような二次的な増加はありません。これにより、長文タスクにおけるRAGシステムやチャンキングの回避策が不要になります。研究用モデルは最大1200万トークンをサポートし、100万トークンのプロダクションモデルはアーリーアクセスで利用可能です。

主な機能

サブクアドラティック注意機構: 1200万トークンコンテキストにおいて、最先端のトランスフォーマーモデルと比較して注意機構の計算量を約1000分の1に削減（出典による）。
SubQ Code: CLIベースのコーディングエージェントで、コードベース全体を単一のコンテキストウィンドウに読み込みます。マルチエージェントオーケストレーションは不要で、リポジトリ全体に対して一度のパスで計画、実行、レビューを行います。
SubQ Search: 長文対応の検索ツールで、チャットボット並みの速度でDeep Research機能を提供します。
API: 開発者やエンタープライズチーム向けのフルコンテキストAPI。

ベンチマーク

すべての結果は第三者によって検証されています（出典は企業名を明記せず）。

RULER 128K: 精度95% — Claude Opus 4.6の94.8%と比較。
MRCR v2（マルチピース検索・推論）: プロダクションモデルは65.9、研究用モデルは83。参考: Claude Opus 4.7 = 32.2、GPT 5.5 = 74、Gemini 3.1 Pro = 26.3。
SWE-Bench Verified: 81.8% — Opus 4.6（80.8）やDeepseek 4.0 Pro（80.0）と比較。
注意機構速度: SubQ Sparse Attentionは、アーキテクチャレベルの比較でFlashAttentionより52倍高速で、消費計算量は63%少ない。

アーキテクチャ詳細

このモデルは、基本原理から再設計された注意機構を採用し、サブクアドラティックを実現しています。線形注意機構、状態空間モデルのアイデア、スパース注意機構を活用しつつ、従来の試みとは異なり最先端レベルの精度を維持しています。チームには、Meta、Google、Oxford、BYU、ByteDance、Adobe、Cambridge出身の博士号取得者が含まれています。