CAL: LLM 에이전트를 위한 오픈소스 컨텍스트 최적화 레이어

CAL의 기능

CAL은 기존 코드와 LLM API 호출 사이에 위치하여 각 요청에 대한 컨텍스트를 지능적으로 선택, 압축 및 조립하는 Python 라이브러리입니다. 토큰 사용량이 많은 에이전트 설정에서 발생하는 비용 및 컨텍스트 문제를 해결하며, 특히 최근 Claude Pro/Max 구독 변경과 관련이 있습니다.

성능 벤치마크

Claude Opus 4와 103개의 컨텍스트 청크를 사용한 실제 운영 환경에서:

• CAL 없음: 모든 요청에서 103개 청크 전체(~23,000 토큰) 전송, 요청당 $0.043
• CAL 사용: ~6개 청크와 4,100 토큰으로 감소, 요청당 $0.008
• 결과: 토큰 83% 감소, 비용 81% 감소

5,000개의 WildChat 프롬프트(57개 언어의 실제 LLM 대화를 담은 오픈 아카데믹 데이터셋)로 검증, 평균 97.6% 절감 효과.

주요 기능

• 선택기: IDF 가중치 점수 기반으로 쿼리별 관련 청크만 선택. 안정적인 접두사 + 요청별 동적 청크 선택 사용.
• 도구 스텁: 3단계 지연 로딩 도구 시스템으로, 모델이 특정 도구 사용 의사를 나타낼 때까지 경량 스텁 유지.
• 비용 엔진: Anthropic의 4가지 입력 계층과 Google의 캐시 저장소 가격을 인지하는 공급자 인식 절감 계산기.
• 노이즈 억제: IDF 하한값 + require-any 게이트로 일반적인 단어가 모든 요청에서 관련 없는 청크를 로드하는 것을 방지.
• 캐시 안정적 순서: 선택에는 점수만 사용, 위치는 알파벳 순서로 유지하여 캐시 히트율 유지.

기술적 세부사항

다중 턴 컨텍스트 처리: 도구 스텁은 기록을 인식합니다. 모델이 이전 턴에서 도구를 사용한 경우, 전체 스키마가 로드된 상태로 유지되어 대화 연속성을 유지합니다.

공급자 지원: CAL은 공급자에 구애받지 않으며 채팅 완료 엔드포인트가 있는 모든 공급자와 작동합니다. 비용 엔진은 이미 Anthropic의 4가지 입력 계층과 Google의 캐시 저장소 가격을 처리합니다.

예외 상황: 모호한 쿼리에 대해 IDF 하한값과 노이즈 억제 사용. 하이브리드 키워드+의미적 점수 부여는 로드맵에 포함.

설치 및 라이선스

pip install cal-context

MIT 라이선스. PyPI: https://pypi.org/project/cal-context/

GitHub: https://github.com/vjc-lab/context-assembly-layer