WCY 형식은 LLM 토큰 오버헤드를 50-71% 감소시키고 구조적인 '모름' 표시자를 추가합니다.
WCY(Watch → Compute → Yield)는 LLM 토큰 오버헤드를 줄이고 추론 과정에서의 불확실성을 위한 구조적 마커를 제공하기 위해 설계된 라인 지향 형식입니다. JSON의 괄호, 따옴표, 쉼표를 한 줄에 하나의 마커를 사용하는 구문으로 대체합니다.
토큰 감소 벤치마크
10-500행 및 MCP 교환 유형에 대한 테스트 결과:
- 구조화된 데이터 대 JSON: -50 ~ -54% 토큰 감소
- 툴-콜 스키마: -65 ~ -71% 감소
- 전체 MCP 프로토콜 교환: -61% 감소
- 다중 에이전트 출력 토큰: -40% 감소
파인튜닝이 필요 없습니다—모델이 형식을 전환하기 위해 세 번의 퓨샷 예시만으로 충분합니다. 이 접근 방식으로 복잡한 작업에서 parse_r 메트릭이 0.29에서 1.00으로 향상됩니다.
불확실성을 위한 ? 마커
WCY는 LLM이 추론 중 모르는 부분을 표시할 수 있는 구조적 방법을 도입합니다. ? (void-B) 슬롯은 모델이 인라인으로 불확실성을 나타낼 수 있게 합니다:
: ?diagnosis hint=labs+imaging conf_range=0.4..0.8
order CT_scan reason=from=3 . CT_result mass_in_RUL size=2.3cm : diagnosis=adenocarcinoma conf=0.82 from=3,5테스트 결과:
- 제로샷: 프롬프트에 사양이 포함되어 있어도 모델이 ? 마커를 0% 사용
- 3개 예시 사용 시: 추적당 5.4개 마커, 67-97% 해결
- 8개 도메인에 걸친 48개 파이프라인 추적: 95% 해결률, 100% 품질 게이트 통과
from= 슬롯은 어떤 관찰이 어떤 결론을 지원하는지 인라인으로 추적하여 환각 체인을 포착하는 데 도움이 됩니다.
사용 가능한 리소스
- wcy_parser.py — 순수 파이썬, 외부 종속성 없음
- wcy_eval.py — 3축 점수화(구조적/의미/출처)
- void-B 주기가 포함된 60개 추론 추적(CC BY 4.0 라이선스, 파인튜닝 실험용)
- 더 많은 추적을 생성하는 파이프라인 스크립트
지금까지 Claude Sonnet에서만 테스트되었습니다. 저자는 동일한 퓨샷 예시로 Qwen, Llama, Mistral에서도 0% → 5.4 마커 결과가 유지되는지 궁금해합니다.
📖 Read the full source: r/LocalLLaMA
👀 See Also
CLAUDE.md 구성 관리를 위한 두 가지 Claude 코드 스킬
한 개발자가 CLAUDE.md 설정을 처리하기 위해 두 가지 Claude Code 스킬을 만들었습니다: /cc-init는 새 프로젝트를 위한 간결한 설정을 생성하고, /cc-optimize는 기존 프로젝트의 불필요한 부분과 문제점을 분석합니다. 둘 다 컨텍스트 오버헤드를 줄이고 지시 사항 준수를 개선하는 것을 목표로 합니다.
그래프 기반 코드 인덱싱으로 AI 코딩 세션 비용 90% 절감
한 개발자가 LLM 생성 요약을 사용해 코드베이스를 인덱싱하는 로컬 그래프 데이터베이스를 구축하여, 중복 파일 재읽기를 피함으로써 Claude Code 세션 비용을 6-10달러에서 센트 단위로 줄였습니다.
에이전트 스킬 하버: AI 에이전트 팀을 위한 GitHub 네이티브 스킬 관리
에이전트 스킬 하버는 GitHub 네이티브 워크플로우를 사용하여 팀이 AI 에이전트 스킬을 공유, 추적 및 관리할 수 있는 오픈소스 플랫폼입니다. GitHub 저장소에서 스킬을 수집하고, 출처를 추적하며, 안전 검사를 지원하고, GitHub Actions와 Pages를 사용하여 정적 카탈로그 사이트를 게시합니다.
FUTO 스와이프: 오픈소스 스와이프 타이핑 모델, 빅테크 정확도에 도달하다
FUTO가 오픈소스 스와이프 입력 모델과 100만 건의 스와이프 데이터셋을 공개했습니다. 인코더(635K 파라미터) + ContextLM(1.5M) + 디코더(304K)로 약 4%의 top-4 실패율을 달성합니다. FUTO 키보드에서 완전 오프라인으로 동작합니다.