서브쿼드라틱, AI 모델용 1200만 토큰 컨텍스트 윈도우 공개

Subquadratic가 1,200만 토큰 컨텍스트 윈도우를 발표하며 subquadratic 어텐션 메커니즘의 획기적인 발전을 주장했습니다. 이는 현재 모델의 일반적인 128K~1M 토큰 윈도우와 비교됩니다. 이 기술은 모델이 계산이나 메모리의 제곱 스케일링 없이 훨씬 더 큰 컨텍스트를 처리할 수 있게 합니다.

주요 세부 사항

• 컨텍스트 윈도우: 1,200만 토큰 (GPT-4의 128K 토큰보다 12배 큼)
• subquadratic 어텐션 기반, 시퀀스 길이에 대해 선형 또는 거의 선형 복잡도를 사용할 가능성
• 단일 순방향 패스로 전체 대규모 코드베이스, 긴 문서 또는 여러 시간 분량의 비디오 대본 처리 가능
• 잠재적 응용: 전체 저장소 코드 리뷰, 긴 문서 분석, 전체 기록을 포함한 다중 턴 대화
• 드롭인 어텐션 교체를 통해 기존 트랜스포머 기반 LLM과 호환 가능

이 접근 방식은 상태 공간 모델이나 저랭크 분해와 같은 기술을 사용하여 O(n²) 어텐션을 거의 O(n)으로 줄입니다. 소스에는 특정 벤치마크 수치가 제공되지 않았지만, 단일 GPU에서 1,200만 토큰 윈도우를 실용적으로 만든다는 주장입니다.

대상

코드 분석, 문서 처리 또는 값비싼 청킹이나 검색 없이 긴 컨텍스트 이해가 필요한 모든 작업을 하는 AI 엔지니어.