TEMM1E v3.1.0: 사용자 상호작용을 통해 자가 미세 조정을 수행하는 AI 에이전트

TEMM1E Eigen-Tune의 기능

TEMM1E의 Eigen-Tune 엔진은 일반적으로 폐기되는 모든 LLM 호출을 레이블된 학습 데이터로 캡처합니다. 이는 사용자 행동 신호(계속하기, 재시도, 거부)로부터 응답 품질을 점수화하고, LoRA 미세 조정을 통해 지식을 로컬 모델로 증류하며, 통계적 게이트를 통해 모델을 승급시킵니다. 이 모든 과정이 추가 LLM 비용 $0으로 이루어집니다.

기술적 구현

이 시스템은 7단계 폐쇄 루프 파이프라인을 사용합니다: 수집, 점수화, 큐레이션, 학습, 평가, 섀도우, 모니터링. 각 단계에는 수학적 게이트가 있습니다:

• 승급을 위한 SPRT (Wald, 1945) — 하나의 나쁜 응답은 19개의 좋은 응답으로 회복해야 함
• 드리프트 감지를 위한 CUSUM (Page, 1954) — 38개 샘플에서 5% 정확도 하락 감지
• 평가를 위한 99% 신뢰도의 Wilson 점수

평가는 설계상 비용이 들지 않습니다: 로컬 Ollama 모델을 통한 임베딩 유사도($0), 섀도우 테스트를 위한 사용자 행동 신호($0), 즉각적인 휴리스틱과 시맨틱 임베딩을 결합한 2단계 감지, 그리고 12개 언어에 걸친 다국어 거부 감지입니다.

벤치마크 결과

Apple M2(16 GB RAM)에서의 실제 증류: SmolLM2-135M이 LoRA를 통해 미세 조정되었으며, 학습 가능한 매개변수는 0.242%입니다. 학습: 100회 반복, 손실이 2.45에서 1.24로 감소(49% 감소). 최대 메모리: 학습 시 0.509 GB, 추론 시 0.303 GB. 기본 모델은 72°F = '150°C'로 잘못 계산했지만, 미세 조정된 모델은 10개의 예시로 학습한 후 '21.2°C'를 정확히 출력했습니다.

하드웨어 인식 모델 선택

이 시스템은 하드웨어를 자동 감지하고 모델을 추천합니다:

• 개념 증명을 위한 SmolLM2-135M
• 균형 잡힌 성능을 위한 Qwen2.5-1.5B
• 높은 품질을 위한 Phi-3.5-3.8B
• 최대 능력을 위한 Llama-3.1-8B

/eigentune model로 구성하거나 자동으로 둘 수 있습니다.

설정 및 구현

구성 파일에 한 줄로 활성화: [eigentune] enabled = true. 이 시스템은 수집, 품질 점수화, 데이터셋 큐레이션, 미세 조정, 평가, 승급, 모니터링을 처리합니다. 모든 실패는 클라우드로 저하됩니다 — 절대 침묵하지 않으며, 이전보다 나빠지지 않습니다.

Rust로 구축되었으며, 18개의 크레이트, Eigen-Tune 내 136개의 테스트, 전체 작업 공간 1,638개 테스트, 경고 0개. MIT 라이선스 하에 오픈 소스입니다.