SMELT 컴파일러는 OpenClaw 작업 공간 토큰 사용량을 최대 95%까지 절감합니다.

OpenClaw 작업공간 토큰 최적화 도구

SMELT는 Claude나 GPT와 같은 AI 모델에 콘텐츠를 전송할 때 토큰 사용량을 줄이기 위해 OpenClaw 작업공간 마크다운 파일을 처리하는 Python 컴파일러입니다. 이 도구는 특정 비효율성을 해결합니다: OpenClaw는 시작 시뿐만 아니라 모든 메시지마다 USER.md, SOUL.md, MEMORY.md, AGENTS.md를 재전송합니다.

성능 벤치마크

M3-Ultra 하드웨어의 Qwen 3.5 122B 모델에서 테스트한 결과:

• 시작 번들: 모든 추론 호출 시 재처리되는 7,268 토큰
• 50개 메시지 세션: 재처리된 정적 작업공간 파일 350,000개 이상의 토큰
• 쿼리별 토큰 감소:
• "Sally는 누구입니까?": 원본 1,373 토큰 → SMELT 73 토큰 (94.7% 절감)
• "John은 언제 태어났습니까?": 원본 1,374 토큰 → SMELT 62 토큰 (95.5% 절감)
• 광범위한 "Alex에 대해 알려주세요": 원본 1,373 토큰 → SMELT 328 토큰 (76.1% 절감)
• 시작 TTFT: 원본 14,121ms → SMELT 13,273ms (6% 더 빠름)

기술 구현

SMELT는 4계층 아키텍처를 사용합니다:

1. 아카이브: 원본 파일은 절대 변경되지 않음
2. 컴파일: 스키마 인식 구조적 압축
3. 압축: 사전 대체
4. 선택: 관련 레코드와 상위 컨텍스트만 전송하는 쿼리 조건 검색

네 번째 계층(선택)에서 95%의 토큰 감소가 발생합니다. 컴파일러는 스키마를 인식하며 OpenClaw 작업공간 파일 규칙에 맞게 특별히 구축되었습니다.

개발 중 발견된 주요 결과

• 단순 JSON 변환(일반적인 최적화 시도)은 원본 마크다운보다 30% 더 나쁨
• 제목 제거는 최소한의 이점만 제공(7-8% 개선)
• 바이트 압축과 토큰 압축은 다름 - 실제 토크나이저를 사용하여 측정해야 함
• 13개 테스트 파일 중 11개가 100% 충실도 달성, 두 개의 밀집 아카이브 파일은 문서화된 실패 발생

현재 제한 사항 및 가용성

스키마는 OpenClaw 작업공간 규칙에 맞게 수동으로 구축되었습니다. 임의의 마크다운 지원에는 스키마 학습이 필요합니다(계획 중). 이 도구는 개인 사용에 무료이며, 코드는 GitHub의 TooCas/SMELT에서 확인할 수 있고 연구는 Zenodo에 DOI와 함께 게시되었습니다.

이 프로젝트는 GPT, Claude, Codex를 협력자로 하여 구축되었습니다.