듀얼 모델 아키텍처는 긴 대화에서 토큰 소비를 절반으로 줄입니다.

AI 에이전트를 위한 컨텍스트 압축 시스템

r/ClaudeAI의 한 개발자가 AI 에이전트가 대화 압축 후 컨텍스트를 잃는 문제에 대한 해결책을 공유했습니다. 이 시스템은 저렴한 소형 모델(이른바 "잠재의식")이 배경에서 지속적으로 대화 기록을 압축하는 이중 모델 아키텍처를 사용합니다.

아키텍처 세부 사항

이 시스템은 네 가지 계층으로 구성됩니다:

• 서사적 요약(~1K 토큰)
• 압축된 사실 정보
• 의미론적으로 검색된 원문 인용
• 원시 최근 대화 차례

주 모델("의식")은 일반적으로 원시 기록 120K 토큰이 필요한 동일한 정보 밀도를 가진 선별된 ~35K 토큰 컨텍스트를 받습니다. 주 모델은 하나의 일관된 타임라인을 읽으며 메모리 시스템의 존재를 알지 못합니다.

성능 결과

개발자는 다양한 대화 유형에 걸쳐 260회의 차례를 시뮬레이션했습니다. 지속적인 프로젝트 작업(무거운 연구로 시작하여 모델이 도메인을 학습함에 따라 점차 빠른 교환으로 전환)의 경우, 이 시스템은 토큰 소비를 약 절반으로 줄입니다.

개발 도구

이 시스템은 시뮬레이션을 위해 Claude Code로 구축되었으며, 컨설팅 및 연구 단계에서는 Claude.ai가 사용되었습니다. 개발자는 더 작은 모델을 라우팅하여 더 큰 모델의 컨텍스트를 관리하려 시도했거나 압축 문제에 대한 다른 해결책을 찾은 다른 사람들을 찾고 있습니다.