SMELT 컴파일러: OpenClaw 토큰 사용량 최대 95.5% 절감

OpenClaw 작업공간 토큰 최적화 도구

SMELT는 Claude나 GPT와 같은 AI 모델에 콘텐츠를 전송할 때 토큰 사용량을 줄이기 위해 OpenClaw 작업공간 마크다운 파일을 처리하는 Python 컴파일러입니다. 이 도구는 특정 비효율성을 해결합니다: OpenClaw는 시작 시뿐만 아니라 모든 메시지마다 USER.md, SOUL.md, MEMORY.md, AGENTS.md를 재전송합니다.

성능 벤치마크

M3-Ultra 하드웨어의 Qwen 3.5 122B 모델에서 테스트한 결과:

시작 번들: 모든 추론 호출 시 재처리되는 7,268 토큰
50개 메시지 세션: 재처리된 정적 작업공간 파일 350,000개 이상의 토큰
쿼리별 토큰 감소:

"Sally는 누구입니까?": 원본 1,373 토큰 → SMELT 73 토큰 (94.7% 절감)
"John은 언제 태어났습니까?": 원본 1,374 토큰 → SMELT 62 토큰 (95.5% 절감)
광범위한 "Alex에 대해 알려주세요": 원본 1,373 토큰 → SMELT 328 토큰 (76.1% 절감)

시작 TTFT: 원본 14,121ms → SMELT 13,273ms (6% 더 빠름)

기술 구현

SMELT는 4계층 아키텍처를 사용합니다:

아카이브: 원본 파일은 절대 변경되지 않음
컴파일: 스키마 인식 구조적 압축
압축: 사전 대체
선택: 관련 레코드와 상위 컨텍스트만 전송하는 쿼리 조건 검색

네 번째 계층(선택)에서 95%의 토큰 감소가 발생합니다. 컴파일러는 스키마를 인식하며 OpenClaw 작업공간 파일 규칙에 맞게 특별히 구축되었습니다.

개발 중 발견된 주요 결과

단순 JSON 변환(일반적인 최적화 시도)은 원본 마크다운보다 30% 더 나쁨
제목 제거는 최소한의 이점만 제공(7-8% 개선)
바이트 압축과 토큰 압축은 다름 - 실제 토크나이저를 사용하여 측정해야 함
13개 테스트 파일 중 11개가 100% 충실도 달성, 두 개의 밀집 아카이브 파일은 문서화된 실패 발생

현재 제한 사항 및 가용성

스키마는 OpenClaw 작업공간 규칙에 맞게 수동으로 구축되었습니다. 임의의 마크다운 지원에는 스키마 학습이 필요합니다(계획 중). 이 도구는 개인 사용에 무료이며, 코드는 GitHub의 TooCas/SMELT에서 확인할 수 있고 연구는 Zenodo에 DOI와 함께 게시되었습니다.

이 프로젝트는 GPT, Claude, Codex를 협력자로 하여 구축되었습니다.

📖 전체 소스 읽기: r/openclaw